The Worlds I See

Что это означало для науки? Что это говорит о наших усилиях как мыслителей, если секрет нашей работы может быть сведен к чему-то столь голому, количественному? К тому, что в конечном итоге кажется грубой силой? Если идеи, которые, казалось бы, проваливались при слишком малом количестве слоев, или слишком малом количестве обучающих примеров, или слишком малом количестве GPU, внезапно оживали, когда их количество просто достаточно увеличивалось, какие уроки мы должны были извлечь о внутренней работе наших алгоритмов? Все чаще и чаще мы обнаруживали, что наблюдаем за ИИ эмпирически, как будто он возникает сам по себе. Как будто ИИ - это нечто, что нужно сначала определить, а потом понять, а не разрабатывать на основе первых принципов.

Характер наших отношений с искусственным интеллектом менялся, и это было интригующей перспективой для ученого. Но с моего нового места работы в Google Cloud, откуда с высоты птичьего полета открывается вид на мир, все больше зависящий от технологий на всех уровнях, сидеть сложа руки и удивляться тому, что все это происходит, было роскошью, которую мы не могли себе позволить. Все, что могло делать это новое поколение ИИ - хорошее или плохое, ожидаемое или иное, - было осложнено отсутствием прозрачности, присущей его конструкции. Тайна была вплетена в саму структуру нейронной сети - некоего колоссального множества крошечных, тонко взвешенных единиц принятия решений, бессмысленных по отдельности, ошеломляюще мощных при организации в самых больших масштабах и, таким образом, практически не поддающихся человеческому пониманию. Хотя мы могли говорить о них в некотором теоретическом, отстраненном смысле - что они могут делать, какие данные им нужны для этого и каков общий диапазон их характеристик после обучения, - что именно они делают внутри, от одного обращения к другому, было совершенно непрозрачно.

Особенно тревожным следствием этого факта стало появление угрозы, известной как "атаки противника", при которых исходные данные подготавливаются с единственной целью - запутать алгоритм машинного обучения, чтобы добиться неинтуитивных и даже разрушительных целей. Например, фотография, на которой, казалось бы, изображено нечто однозначное - жираф на фоне голубого неба, - может быть изменена с помощью тонких колебаний цветов отдельных пикселей, которые, хотя и незаметны для человека, вызовут каскад сбоев в нейронной сети. При правильной настройке результат может превратить правильную классификацию, например "жираф", в дико неправильную, например "книжная полка" или "карманные часы", при этом исходное изображение останется неизменным. Но если над зрелищем, когда передовые технологии спотыкаются о фотографии дикой природы, можно только хихикать, то атака противника, призванная обмануть самодвижущийся автомобиль и заставить его неправильно классифицировать знак "Стоп", не говоря уже о ребенке на пешеходном переходе, вряд ли покажется смешной.

Конечно, не исключено, что в этом может помочь более глубокая инженерия. Новое, обнадеживающее направление исследований, известное как "объяснимый ИИ", или просто "объяснимость", стремилось свести почти магические рассуждения нейронных сетей к форме, которую человек мог бы тщательно изучить и понять. Но это направление находилось в зачаточном состоянии, и не было никакой уверенности в том, что оно когда-нибудь достигнет тех высот, на которые рассчитывали его сторонники. Тем временем модели, которые она должна была осветить, распространялись по всему миру.

Даже полностью объяснимый ИИ будет лишь первым шагом; встраивания в уравнение безопасности и прозрачности после факта, каким бы изощренным оно ни было, будет недостаточно. Следующее поколение ИИ должно быть разработано с принципиально иным отношением с самого начала. Энтузиазм - это хороший первый шаг, но настоящий прогресс в решении таких сложных и негламурных задач требует благоговения, которого в Кремниевой долине, похоже, просто не было.

Академики давно знали о негативном потенциале ИИ в таких вопросах, как отсутствие прозрачности, подверженность предвзятости и негативному влиянию, и тому подобное, но, учитывая ограниченный масштаб наших исследований, риски всегда были теоретическими. Даже окружающий интеллект - самая значительная работа, которую когда-либо проводила моя лаборатория, - имел бы достаточно возможностей столкнуться с этими подводными камнями, поскольку наше волнение всегда было сдержано клиническими правилами. Но теперь, когда у руля стояли компании с рыночной капитализацией, приближающейся к триллиону долларов, темп работы радикально ускорился. Готовы мы к этому или нет, но эти проблемы нужно было решать со скоростью бизнеса.