Главный судья поддержал идею Ходжсона. Эксперимент проходил во время четырех выставок, с 2005-го по 2008 год. Выяснилось, что очень немногие судьи одинаково оценивали трижды попробованное ими одно и то же вино. Нередко случалось, что разница в оценках составляла целых 4 балла: первый образец судья оценивал в 91 балл, второй – в 87, а третий – в 83. 4 балла для вина – это много: 91 балл считается высокой оценкой и присуждается самым дорогим винам, в то время как 83 балла – оценка посредственного вина. Некоторые судьи присуждали одному образцу из трех золотую медаль, а второму – бронзовую или вовсе никакую. Каждый год встречались судьи, которые меньше других противоречили себе в оценках, однако на следующий год их оценки оказывались наиболее разноречивыми. Никто из судей (среди них были сомелье, критики, виноделы, закупщики и продавцы вина) не был последователен в своих оценках.
Исследования показали, что во многих областях специалисты справляются со своей работой ничуть не лучше людей, которые мало или вовсе ничего в ней не понимают. В книге «Карточный домик: миф как основа психологии и психотерапии» (
То же справедливо и для финансовых экспертов: они выбирали «удачные» ценные бумаги для покупки с той же частотой, что и новички фондового рынка или генераторы случайных чисел. И, как мы заметили ранее, врачи общей практики с десятками лет опыта за плечами зачастую работают хуже (по объективным оценкам) прошлогодних выпускников – в основном потому, что у последних знания более актуальные и свежие. Вопреки распространенному мнению опыт врача или медсестры вовсе не гарантирует хорошего знания им своего дела.
Вывод прост: лучших в своей области специалистов определить непросто. В идеале для этого нужны объективные критерии оценки или хотя бы максимально приближенные к объективным. Например, в областях, где напрямую оценивается работа человека или созданный им продукт – у сценаристов или программистов, – стоит обращать внимание на мнение коллег, не забывая, впрочем, об их возможной предубежденности или пристрастности. Однако многие специалисты, включая врачей, психотерапевтов и учителей, работают сами по себе, и их коллеги имеют слабое представление об уровне их мастерства и применяемых ими методиках. Поэтому имеет смысл ориентироваться на профессионалов, которые часто сотрудничают со многими коллегами: наглядный пример – медсестры, нередко ассистирующие разным хирургам. Также стоит обращать внимание на тех, к кому обращаются за советом. Разузнайте, кого из коллег специалисты считают самым сильным профессионалом, но не забывайте о том, что их суждениям, возможно, не стоит доверять.
Если область вам знакома (например, связана с вашей работой), постарайтесь хорошенько обдумать, что значит в ней «быть профессионалом» и как это можно оценить. Затем изучите людей, которые показывают наилучшие результаты в направлениях, наиболее важных для вашей области. Помните, что в идеале вам нужно определить объективные воспроизводимые критерии оценки, по которым можно будет регулярно отделять лучших исполнителей от посредственных.
Определив лучших из лучших в вашей области, можно переходить к следующему этапу: попытаться понять, чем они отличаются от менее успешных коллег и какие действия привели их к успеху. Это не так-то просто. Почему у одного преподавателя дети учатся лучше, чем у другого? Почему у одного хирурга пациенты выживают чаще, чем у другого? Почему один менеджер продает больше другого? Конечно, можно пригласить эксперта и попросить его со стороны оценить работу коллеги, но стоит учитывать, что даже опытные профессионалы не всегда могут понять, что именно отличает лучших исполнителей от всех остальных.