Верховный алгоритм. Как машинное обучение изменит наш мир

Многие волнуются, что управляемая человеком эволюция окончательно расколет человечество на генетически имущие и неимущие классы. Удивительно, как убого бывает воображение! Естественная эволюция породила не два вида, один из которых подчиняется другому, а бесконечное разнообразие существ и замысловатые экосистемы. Почему искусственная эволюция — основанная на естественной, но еще менее ограниченная, — должна поступать иначе?

Как и все фазовые переходы, этот в конце концов тоже сойдет на нет. Преодоление узкого горла не равно бесконечному взлету: границей станет следующее узкое горло, даже если пока мы его не видим. Нас ждут новые переходы — некоторые большие, некоторые маленькие, некоторые уже скоро, некоторые в отдаленном будущем. Но следующее тысячелетие вполне может стать самым захватывающим в истории жизни на планете Земля.

ЭПИЛОГ

Итак, теперь вы знакомы с секретами машинного обучения. Механизм, который превращает данные в знание, перестал быть черным ящиком: вы знаете, как происходит волшебство, на что оно способно, а на что — нет. Вы познакомились с монстром сложности, проблемой переобучения, проклятием размерности и дилеммой изучения и применения. Вы в общих чертах знаете, как Google, Facebook, Amazon и другие компании поступают с данными, которые вы дарите щедрым потоком, и почему у них все лучше получается находить то, что вы просите, фильтровать спам и делать многое другое. Вы побывали в лабораториях, где ученые работают над машинным обучением, и теперь вам легче заглянуть в будущее, которое мы помогаем воплотить. В пути вы познакомились с пятью «племенами» машинного обучения и их верховными алгоритмами: символистами и обратной дедукцией, коннекционистами и обратным распространением ошибки, эволюционистами и генетическими алгоритмами, байесовцами и вероятностным выводом, аналогизаторами и методом опорных векторов. А поскольку вы прошли через всю эту обширную страну, посетили пограничные заставы, взбирались на высокие вершины, вы видите ландшафт даже лучше, чем многие специалисты, которые ежедневно занимаются своим участком работ. Вы можете заметить общие темы, похожие на подземные реки, и знаете, почему пять верховных алгоритмов, таких разных на первый взгляд, на самом деле просто пять граней одного универсального алгоритма.

Но путешествие далеко не закончилось. У нас в руках пока не сам Верховный алгоритм, а лишь мысли, предположения, на что он может быть похож. А если нам все еще не хватает чего-то фундаментального, того, что все мы работающие в этой области, увязшие в ее истории — не замечаем? Нам нужны свежие идеи, причем не просто варианты того, что у нас уже есть. Именно поэтому я написал эту книгу: мне хотелось дать толчок вашему воображению. В 2007 году, вскоре после учреждения премии Netflix, я предложил слушателям вечерних курсов по машинному обучению в Вашингтонском университете, где я преподаю, подготовить для нее проект. Одного из учеников — Джеффа Хоуберта — это зацепило. Он продолжил работу после завершения курсов и вошел в одну из двух команд-победительниц всего через два года после того, как впервые услышал о машинном обучении. Теперь ваша очередь. Чтобы больше узнать о машинном обучении, познакомьтесь с рекомендованной литературой, которую я привожу в конце книги. Скачайте некоторые наборы данных из архива UCI (archive.ics.uci.edu/ml/) и поиграйте с ними. Когда будете готовы, загляните на Kaggle.com — сайт, посвященный соревнованиям по машинному обучению, и примите участие в одном-двух. Конечно, интереснее привлечь к работе товарищей. Если вы втянетесь, как Джефф, и станете профессиональным специалистом по обработке данных, добро пожаловать в самую захватывающую профессию в мире! Изобретайте новые алгоритмы машинного обучения, если вас не устраивают существующие, да и просто ради развлечения. Мое заветное желание — чтобы, прочитав мою книгу, вы отреагировали так же, как я, более двадцати лет назад впервые прочтя книгу по искусственному интеллекту: здесь столько работы, что просто не знаешь, с чего начать! Если когда-нибудь вы изобретете Верховный алгоритм, пожалуйста, не спешите его патентовать. Сделайте его код открытым. Верховный алгоритм слишком важен, чтобы им владел только один человек или организация. Его применения начнут множиться так быстро, что вы не будете успевать их лицензировать. А если вы решите создать стартап, не забудьте предоставить долю в нем каждому человеку, каждому ребенку на Земле.