Советы от инженера Anthropic о том, как не перестать мыслить критически при работе с агентами
Инженер из Anthropic, работающий над инструментами для агентной разработки, обратил внимание на проблему: чем больше задач мы делегируем ИИ, тем меньше поводов самостоятельно анализировать информацию, проверять решения и разбираться в деталях. В общем-то проблема действительно обретает массовый характер, поэтому для себя он выделяет три стадии взаимодействия с ИИ:
Cognitive Offloading – делегирование мышления
Мы поручаем ИИ выполнение задач, но сохраняем ответственность за результат. Агент делает работу, а мы проверяем ее и принимаем окончательные решения. Сам автор считает такой подход естественной частью своей повседневной работы.
Deferral – передача инициативы.
Здесь происходит незаметный сдвиг: результат ИИ перестает быть гипотезой и становится отправной точкой для следующих действий. Мы уже не столько оцениваем ответ, сколько используем его для дальнейшей работы.
Cognitive Surrender – капитуляция мышления.
Самая опасная стадия: мы настолько привыкаем доверять агенту, что перестаем проверять его ответы. Автор описывает, как это происходит постепенно: сначала внимательно читаем результат, потом бегло просматриваем, а однажды обнаруживаем, что не можем объяснить даже отдельные решения в собственной работе.
Чтобы избежать такого исхода и оставаться на первой стадии инженер предлагает несколько практик:
➖ Прежде чем обращаться к агенту с нетривиальной задачей, подумайте сами, каким может быть решение. Даже если предположение окажется неверным, это поможет не подменять собственное мнение ответом ИИ.
➖ Проверяйте доказательства, а не слова модели. Проведи серию тестов, задавайте уточняющие вопросы, попросите разные модели привести контраргументы, в общем, обязательно ищите альтернативные варианты. И только на основе этого делайте выводы (самостоятельно!).
➖ Проверяйте то, что написал агент. Даже если тесты прошли успешно, то необходимо иметь понимае того, что именно проверка подтвердила, а что осталось за ее пределами. Даже успешно пройденный тест может не обнаружить ошибку, если она заложена и в самом тесте.
➖ Чтоб совсем не растерять свои навыки, инженер предлагает хотя бы раз в неделю выполнять какую-то привычную задачу без агента, а раз в месяц спрашивать себя, какие действия вы уже перестали делать самостоятельно и готовы ли вы действительно отказаться от этих навыков.