Блог редактора

Что доверить нейросетке

Итан Моллик, исследователь AI, только что написал пост «15 случаев, когда стоит использовать ИИ и 5, когда не стоит». А мы (нейросеть Claude-3.5-Sonnet с редакторским содействием Тимура Аникина) для вас его перевели. За картинку спасибо сетке FLUX schnell.

(все внутритекстовые ссылки ведут на разное англоязычное)
Есть несколько типов работы, где ИИ может быть особенно полезен при нынешних возможностях и ограничениях языковых моделей. Этот список научно обоснован, но больше опирается на опыт. Чтобы плодотворно применять ИИ, требуется удерживать в голове почти что противоположные характеристики: он может обеспечить прорыв, но к нему нужно относиться скептически; мощный, но склонный незаметно ошибаться; незаменим для одних задач, но вредит в других.

Я также хочу оговориться: не стоит воспринимать этот список слишком серьезно, используйте его для вдохновения: вы лучше знаете своё положение, а знание специфики важнее любых общих принципов.

После оговорок — к делу: ниже представлены типы задач, где ИИ может быть особенно полезен (с его нынешними возможностями), а также сценарии, где с ним нужно быть осторожным.

1) «Количественная» работа. Скажем, чем больше идей придумаешь, тем лучше лучшая из них. В любой сессии мозгового штурма надо генерировать много идей. Большинство людей утомляются, придумав всего несколько, но ИИ способен выдать сотни неповторяющихся вариантов.

2) Работа, в которой вы эксперт и можете быстро оценить, справился ИИ или провалился. Это могут быть даже очень сложные задачи, и без экспертизы не понять, выдаёт ли ИИ что-то ценное. Например, o1, новая модель OpenAI, берётся за проблемы, с которыми бьются доктора наук (PhD), но не будучи экспертом, нельзя сказать полезны ли её ответы.

3) Работа по обобщению большого объема информации, но такая, где риск ошибок невысок, и от вас не требуется в подробностях знать исходную информацию. ИИ хорошо обобщит материал размером с книгу, но хуже справится с проверкой фактов в нём.

4) Работа, по сути требующая лишь сменить перспективу или формат. Например, вы разработали регламент, и теперь нужно сделать из него десяток разных обучающих документов для разных отделов вашей компании. ИИ очень хорош в таком «переводе», увеличивая и уменьшая сложность документов так, чтобы люди их понимали.

5) Работа, на которой вы «застряли». Часто маленькие штуки останавливают весь процесс, и нужен лишь небольшой толчок, чтоб двинуться дальше. До появления ИИ я мог застрять, формулируя мысль, и на час её отложить, а теперь я прошу ИИ: «дай мне тридцать разных способов закончить это предложение».
30 способов закончить предложение. Я предпочту не копировать ни один «слово в слово», но тут могут быть вариации, о которых я сам бы не подумал.
6) Работа, которую ИИ обычно делает лучше, чем лучший из доступных вам специалистов (а если он не справится, это не приведет к плохим последствиям)

7) Работа, где часть элементов вам понятна, но с контекстом или нюансами нужна помощь. Тайлер Коуэн предлагает использовать ИИ как напарника для чтения, ведь ему можно задавать бесконечно много вопросов.

8) Работа, где нужно наплодить вариаций, чтоб вы выбрали лучшую из них как редактор или куратор. Запрос различных решений — «перепиши этот пункт 15 раз в радикально разных стилях, будь креативнее» — позволяет находить потенциально интересные идеи.
«Перепиши этот пункт 15 раз в радикально разных стилях, будь креативнее».
9) Работа, про которую исследования говорят, что ИИ почти наверняка пригодится, например, многие виды программирования.

10) Работа, где вам нужно прикинуть, что подумает враждебный, дружелюбный или наивный пользователь.
11) «Предпринимательская» работа, когда приходится осваивать много разных областей, и надо выбирать: или довольствоваться «плюс-минус хорошим» напарником или вообще ничего не сделать. ИИ может быть удивительно компетентным соучредителем, помогая как наставник и соавтор документов, демо-версий и подходов, которые ваш ограниченный опыт не позволяет создать в одиночку.

12) Работа, где вам нужен определённый угол зрения, и где поверхностный взгляд с этого угла может пригодиться, например, реакции от вымышленных персон.

13) Работа-ритуал, давно утратившая свою изначальную цель (вроде стандартизованных отчетов, которые никто не читает). Что, по словам Боба Саттона и Хагги Рао, рассеивает ваше внимание и уменьшает вашу ценность? Какая работа не служит полезной цели? В идеальном мире вы б вообще от неё избавились, но можно хотя бы свести её к минимуму — с помощью ИИ. (Но убедитесь, что это правда тот самый случай: слишком многие автоматизируют performance reviews, которые имеют смысл только когда их проделывает человек).

14) Работа, в которой вы хотите получить чужое мнение. Дайте ИИ доступ к данным и посмотрите, придет ли он к тому же выводу.

15) Работа, которую ИИ может делать лучше людей. Это, кажется, самая быстрорастущая категория.

5 ситуаций, когда не стоит использовать ИИ:

Прежде чем углубляться в конкретные «проблемные» случаи использования ИИ, отсеем самые очевидные сценарии: ИИ для незаконных целей, в ситуациях с высокими ставками, где ошибка означает катастрофу, или для решений, из которых неэтично исключать человеческое участие. Кроме этих понятных кейсов есть пять неочевидных, но важных областей, где с ИИ легко получить совершенно не те результаты, которых хотелось.

1) Когда нужно изучать и синтезировать новые идеи или информацию. Просьба о кратком изложении не то же самое, что самостоятельное чтение. Просить ИИ решить проблему за вас — неэффективный способ обучения, даже если кажется, что это должно сработать. Чтобы выучить что-то новое, вам придется читать и думать самостоятельно, хотя ИИ таки бывает полезен для отдельных частей учебного процесса.

2) Когда требуется высочайшая точность. Проблема с ошибками ИИ, печально известными галлюцинациями: из-за того, как работают LLM, ошибочное будет очень правдоподобным. Поэтому галлюцинации очень трудно заметить, а исследования показывают, что люди даже и не пытаются, «засыпая за рулем» и не обращая внимания. Галлюцинирование можно снизить, но нельзя устранить. (Однако многие задачи терпимы к ошибкам — люди тоже ошибаются — и может оказаться, что ИИ в каких-то случаях реже ошибается, чем человеки).

3) Когда вы не понимаете, как именно ИИ «косячит». ИИ ошибается не как человек. Вы знаете, что он порой галлюцинирует, но это только один вид ошибок; ИИ часто пытается убедить вас, что он прав, или может стать угодливым и согласиться с вашим неправильным ответом. Вам нужно использовать ИИ достаточно часто, чтобы осознать эти риски.

4) Когда в усилии — весь смысл. Во многих областях нужно помучиться, чтобы добиться успеха — писатели переписывают одну и ту же страницу, ученые многократно пересматривают теорию. «Срезая углы», как бы они ни бесили, вы можете так и не дойти до важнейшего озарения.

5) Когда ИИ просто плох. Вроде кажется очевидным, но ИИ плох там, где вы этого не ожидаете (например, в подсчете количества букв "r" в слове "strawberry"), и хорош там, где вы опять-таки не ожидаете (например, в задаче «написать шекспировский сонет о том, как сложно посчитать количество букв "r" в слове strawberry, причем первые буквы строк должны сложиться в названия двух фруктов»).
К сожалению, нет общего руководства, описывающего фронтир возможностей ИИ, которые постоянно развиваются. Метод проб и ошибок, обмен информацией с коллегами жизненно важны, чтобы в этом разобраться.

Получается, что знать, когда использовать ИИ — это своеобразная мудрость, а не просто техническое знание. Как большинство проявлений мудрости, оно в чем-то парадоксально: часто ИИ наиболее полезен там, где мы уже достаточно компетентны, чтобы замечать его ошибки, но наименее полезен в той глубокой работе, которая и сделала нас экспертами.

Он лучше всего работает в задачах, которые мы бы и сами решили, да жалко время тратить, однако может заметно вредить нашему обучению, когда мы используем его, чтобы избавиться от «полезных» трудностей. И самое, может, главное: эти паттерны продолжат меняться с развитием ИИ. С появлением новых исследований от нас потребуется постоянно пересматривать наши предположения о том, где он помогает, а где мешает.

Оригинал поста
2024-12-11 09:59 переводы как устроено