Co-Intelligence: Living and Working with AI

Одно дело - теоретически проанализировать влияние ИИ на рабочие места, другое - проверить его на практике. Над этим я и работал вместе с группой исследователей, среди которых были гарвардские социологи Фабрицио Делл'Аква, Эдвард Макфолланд III и Карим Лакхани, а также Хила Лифшиц-Асаф из Уорикской школы бизнеса и Кэтрин Келлог из Массачусетского технологического института. В проведении исследования нам помогали Boston Consulting Group (BCG), одна из ведущих в мире организаций по управленческому консультированию, и около восьмисот консультантов, принявших участие в экспериментах.

Консультанты были рандомизированы на две группы: одна из них - - выполняла работу стандартным образом, а другая - использовала GPT-4, ту самую готовую ванильную версию LLM, к которой имеют доступ все в 169 странах. Затем мы немного обучили их искусственному интеллекту и запустили их с таймером на выполнение восемнадцати заданий, которые были разработаны BCG так, чтобы они выглядели как стандартная работа консультантов. Среди них были творческие задания ("Предложите не менее 10 идей для новой обуви, ориентированной на неохваченный рынок или вид спорта"), аналитические ("Сегментируйте рынок обувной промышленности по пользователям"), письменные и маркетинговые ("Составьте маркетинговую копию пресс-релиза для вашего продукта") и задания на убедительность ("Напишите вдохновляющую записку для сотрудников, в которой подробно объясните, почему ваш продукт превзойдет конкурентов"). Мы даже проконсультировались с руководителями обувной компании, чтобы убедиться в реалистичности этой работы.

Группа, работавшая с искусственным интеллектом, показала значительно лучшие результаты, чем консультанты, не работавшие с ним. Мы измеряли результаты всеми возможными способами: смотрели на мастерство консультантов или использовали ИИ для оценки результатов, а не людей, - но эффект сохранялся в 118 различных анализах. Консультанты с искусственным интеллектом работали быстрее, а их работа считалась более творческой, лучше написанной и более аналитической, чем у их коллег.

Но при более внимательном изучении данных обнаружилось нечто одновременно и впечатляющее, и несколько тревожное. Хотя предполагалось, что консультанты будут использовать искусственный интеллект для помощи в решении своих задач, казалось, что искусственный интеллект делает большую часть работы. Большинство участников эксперимента просто вставляли вопросы, которые им задавали, и получали очень хорошие ответы. То же самое произошло в эксперименте по написанию текста, проведенном экономистами Шаккедом Ноем и Уитни Чжаном из Массачусетского технологического института, о котором мы рассказывали в главе 5: большинство участников даже не потрудились отредактировать результат работы ИИ, как только он был создан для них. Я неоднократно сталкивался с этой проблемой, когда люди впервые использовали ИИ: они просто вставляли точный вопрос, который им задали, и позволяли ИИ ответить на него. В работе с ИИ есть опасность - конечно, опасность того, что мы сделаем себя лишними, но также и опасность того, что мы слишком доверяем работу ИИ.

И мы сами увидели опасность, потому что BCG разработала еще одно задание, тщательно отобранное, чтобы ИИ не смог прийти к правильному ответу - такому, который окажется за пределами Jagged Frontier. Это было нелегко, поскольку ИИ отлично справляется с широким спектром задач, но мы выбрали задачу, в которой сочетались сложный статистический вопрос и недостоверные данные. Консультанты-люди решали задачу правильно в 84 % случаев без помощи ИИ, но когда консультанты использовали ИИ, их результаты были еще хуже - они решали задачу правильно только в 60-70 % случаев. Что же произошло?

В другой работе Фабрицио Делл'Аква показывает, почему чрезмерное полагание на искусственный интеллект может привести к обратным результатам. Он обнаружил, что рекрутеры, использующие высококачественный ИИ, стали ленивыми, небрежными и менее умелыми в собственных суждениях. Они упустили несколько блестящих кандидатов и принимали худшие решения, чем рекрутеры, которые использовали низкокачественный ИИ или вообще не использовали ИИ.

Он нанял 181 профессионального рекрутера и поставил перед ними непростую задачу: оценить 44 заявки на работу на основе их математических способностей. Данные были получены из международного теста для взрослых, поэтому оценки по математике не были очевидны из резюме. Рекрутерам предоставлялась помощь ИИ разного уровня: у некоторых была хорошая или плохая поддержка ИИ, а у некоторых - никакой. Он измерял, насколько они точны, быстры, трудолюбивы и уверены в себе.