Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных

Покупатели подержанных машин не могут быть уверены в исправности выбранного автомобиля. При прочих равных условиях их покупка может с одинаковой вероятностью оказаться и «лимоном», и «персиком». Поэтому покупатели готовы платить только некую среднюю цену. Но у продавцов есть преимущество – они точно знают, где «лимоны», а где «персики», и, конечно, не хотят продавать последние за такую среднюю цену. Поэтому «персики» они придерживают, толкая покупателям одни «лимоны». Покупатели быстро обнаруживают подвох, и, соответственно, еще ниже опускают цены, по которым готовы покупать, что, в свою очередь, становится для продавцов еще большим аргументом против продажи «персиков». Возникает обратная связь, которая заставляет уйти с рынка владельцев «персиков» и в результате снижает как цены, так и качество продаваемых автомобилей.

В худшем случае это может привести к тому, что цены пробьют дно экономической целесообразности и рынок прекратит свое существование.

Асимметричная информация часто имеет существенное значение в военных конфликтах. Например, если одна сторона знает о расположении чужих войск больше, чем другая, она может получить подавляющее преимущество. Эта концепция лежит в основе стратегии сбора данных, охватывающей широкий диапазон мер, начиная от стандартной засылки разведчиков в тыл врага до использования дронов, спутниковых фотографий и взлома телекоммуникаций.

То же самое относится к шпионажу, когда каждая из сторон пытается получить данные, которые другая сторона старается сохранить в темноте, поскольку их раскрытие может нанести огромный ущерб. В 2010 г. аналитик военной разведки США Челси (урожденная Брэдли) Мэннинг раскрыла через WikiLeaks большое количество секретных документов, в результате чего жизни политических диссидентов и других людей оказались под угрозой.

В некоторых сферах человеческой деятельности были введены правила, способствующие решению проблемы информационной асимметрии, например в мире финансов. По словам экономиста Арджана Реуринка, «чтобы упростить предоставление информации рынку и снять проблему информационной асимметрии, финансовые регуляторы ввели требования по раскрытию информации в качестве центрального столпа регулирования на всех развитых финансовых рынках. Такие требования предписывают эмитентам финансовых инструментов и поставщикам финансовых услуг раскрывать рынку и своим контрагентам всю релевантную информацию, делать это своевременно и так, чтобы все участники рынка имели к ней равный доступ»[75]. Другими словами, эти правила направлены на обеспечение прозрачности, чтобы можно было увидеть данные, которые в противном случае оставались бы темными.

В целом урок, который можно извлечь из этого раздела, сводится к следующему: постоянно ищите информационную асимметрию и почаще задавайтесь вопросом: что он, она или они могут знать такого, чего не знаете вы?

Неблагоприятный отбор и алгоритмы

Рич Каруана и его коллеги описали созданную ими систему на основе машинного обучения для прогнозирования вероятности смерти пациентов, больных пневмонией. В основном прогнозы оказывались точными, если только у пациентов вдобавок не было астмы[76]. В таких случаях система предсказывала, что риск смерти от пневмонии намного ниже, чем если бы астмы не было. Казалось, это полностью противоречит здравому смыслу: каким образом осложнения, мешающие дыханию, могут улучшить ситуацию? За этим стояло либо крупное научное открытие некоего биологического механизма, помогающего астме противостоять пневмонии, либо непредвиденные темные данные, которые вводили в заблуждение и делали выводы недостоверными.

Тщательный анализ показал, что система машинного обучения действительно имела слабые места, а ее прогнозы были следствием темных данных. На деле пациенты с астмой в анамнезе были подвержены особенно высокому риску, и их сразу направляли в отделение интенсивной терапии, где они получали первоклассное лечение. И лечение это было настолько эффективным, что снижало риск смерти от пневмонии. Система, не зная об особом подходе к таким пациентам, видела только то, что астматики имели пониженный риск смерти от пневмонии. Вполне естественно, что она рекомендовала сразу отправлять их домой.

Фундаментальная проблема здесь кроется в том, что алгоритм машинного обучения не видит всех значимых данных. И это весьма распространенная проблема, имеющая пагубные последствия. Порой к ее возникновению приводят самые благие намерения, как это произошло в следующих примерах.