The Worlds I See

Спустя столетия зарождающаяся практика краудсорсинга была основана на той же идее: по-настоящему интеллектуальная автоматизация по-прежнему лучше всего выполняется людьми. Amazon Mechanical Turk, или AMT, построил рынок вокруг этой концепции, позволяя "заказчикам" размещать объявления о "задачах человеческого интеллекта", которые должны были выполнить участники, известные как "туркеры", и которые могли находиться в любой точке мира. Теоретически это имело смысл и, казалось, обещало все, что мы хотели: интеллект человеческой маркировки, но со скоростью и масштабом, сравнимыми с автоматизацией. Забавно - и весьма проницательно - Amazon назвал это "искусственным искусственным интеллектом".

Я помчался по коридорам, чтобы найти Цзя, хотя его энтузиазм не совпадал с моим. После стольких неудач у него были веские причины опасаться еще одного выстрела в темноту. Но после всего, что нам пришлось пережить, он понял, что это действительно может стать тем самым спасательным кругом, которого мы так долго ждали. С равномерной смесью колебаний и облегчения он наконец согласился: AMT стоит того, чтобы сделать еще одну попытку.

Моя Северная звезда снова засияла, и я в очередной раз поразился своевременности. Сама возможность существования ImageNet была обусловлена множеством сходящихся технологических нитей: Интернетом, цифровыми камерами и поисковыми системами. А теперь краудсорсинг, обеспечиваемый платформой, которая едва существовала годом ранее, стал завершающим этапом. Если мне когда-либо требовалось напоминание о том, что стандартной позицией любого ученого должно быть абсолютное смирение - понимание того, что ничей интеллект и вполовину не так могущественен, как случайность, - то это было именно оно.

AMT изменил все. Он превратил наш штат студентов, занимавшихся маркировкой, в международную команду из десятков, потом сотен, потом тысяч человек. По мере расширения нашей поддержки расчетное время выполнения работы Цзя резко сократилось - до пятнадцати лет, затем до десяти, затем до пяти, затем до двух и, наконец, до чуть менее года. И это представило наш бюджет в совершенно новом свете, перевернув экономические расчеты ImageNet. Сумма в долларах, которая когда-то была крайне недостаточной для создания достаточно большой команды маркировщиков под одной крышей, теперь могла быть эффективно потрачена на краудсорсинговую команду, разбросанную по всему миру и связанную через Интернет.

В процессе работы я все больше опирался на свой опыт в области экспериментальной психологии, чтобы помочь Цзя создать систему, которая идеально использовала бы время и внимание наших работников, сводя к минимуму вероятность того, что они будут введены в заблуждение, запутаются или поддадутся искушению обмануть систему. Временами AMT напоминала эксперименты по психофизике человека, которые мы с Кристофом проводили в Калтехе, - попытку извлечь из восприятия незнакомца какую-то тонкую, но важную информацию, - раздутую до глобальных масштабов. В некотором смысле это было проще: вместо того чтобы читать мысли, мне просто нужно было наклеить правильный ярлык на изображение из нашей коллекции массовых загрузок. Но в то же время это было гораздо сложнее: какой бы простой ни казалась маркировка изображения, в конечном итоге она подразумевает точный выбор нужной категории из заранее определенного списка, состоящего из десятков тысяч.

Однако не все проблемы были технологическими. Были и человеческие проблемы, например, опасения, что краудсорсинг может быть эксплуатацией. Хотя эта возможность стала предметом широкого обсуждения лишь много лет спустя, даже тогда было трудно избежать этой мысли. Это побуждало нас платить за каждое изображение столько, сколько позволяли средства, - решение облегчалось тем, что ImageNet был чисто научным проектом, не требующим учета прибыли.

Исследование этого вопроса тоже порадовало, по крайней мере, в то время. Демография AMT 2007 года показала, что большинство участников рассматривают сервис как хобби или побочный заработок, а не как попытку заработать на жизнь. Конечно, с развитием гиг-экономики за прошедшие годы картина значительно усложнилась. Сегодня трудно отделить мощь больших данных от их человеческой стоимости.

И так продолжалось до бесконечности, каждый день маркировались тысячи и тысячи новых изображений. На пике развития ImageNet мы были среди крупнейших работодателей на платформе AMT, и наши ежемесячные счета за услуги отражали это. Это было дорого, но это работало.