Составить карту Всемирной паутины было непросто. Даже тогда, в январе 1996 года, она состояла из 100 тысяч веб-сайтов, которые были соединены миллиардом ссылок и на которых хранилось 10 миллионов документов. И каждый год эти цифры росли в геометрической прогрессии. В начале лета 1996 года Пейдж создал поискового робота для сбора данных, который должен был начать с личной страницы Пейджа, а затем переходить по всем ссылкам, которые ему встречались. Он перемещался по сети как настоящий паук и сохранял текст всех гиперссылок, названия страниц и информацию о том, откуда шла ссылка, по которой он попал на конкретный сайт.
Пейдж сказал Винограду, что по примерным расчетам робот-сборщик выполнит свое задание за несколько недель. «Терри кивнул, хотя отлично понимал, что времени понадобится намного больше. Но он мне этого не сказал, Терри был мудр, — вспоминает Пейдж. — Юношеский оптимизм часто недооценивают!»[1066] Вскоре проект Пейджа составлял практически половину интернет-трафика Стэнфорда, а как минимум один раз привел к отключению Интернета по всему кампусу. Однако администрация университета была на стороне Пейджа. «У меня почти не осталось свободного места на диске», — писал Пейдж Винограду в электронном письме от 15 июля 1996 года. На тот момент он собрал 24 миллиона URL-адресов и более 100 миллионов ссылок. «Мы проверили только около 15 % сайтов, но пока все выглядит очень многообещающе»[1067].
Сложный проект Пейджа был как будто создан для Сергея Брина и его математического ума. Брин как раз искал тему для диссертации и был в восторге от идеи поработать с другом: «Проект был потрясающий. Он касался Всемирной сети, которая представляла собой совокупность человеческих знаний. И потом, мне нравился Ларри»[1068].
Тогда Пейдж и Брин все еще считали, что цель их проекта
Пейдж и Брин скорректировали цели проекта и изменили его название. Новое название
Попытка составить рейтинг сайтов усложнила их задачу. Вместо того чтобы просто посчитать количество ссылок, ведущих на страницу, Пейдж и Брин решили, что было бы еще лучше, если бы они оценили ценность каждой входящей ссылки. Например, ссылка
Математические задачи именно такого уровня интересовали Брина. «Чтобы достичь нашей цели, мы решили немало математических проблем, — вспоминает он. — Мы как будто превратили Всемирную паутину в огромное уравнение, в котором были сотни миллионов переменных — рейтинги всех сайтов Интернета»[1072]. Они опубликовали статью в соавторстве со своими научными руководителями, где разъяснили сложные математические формулы, основанные на количестве входящих ссылок и относительном рейтинге каждой из этих ссылок. Затем они объяснили все то же самое простыми словами, чтобы было понятно и непрофессионалам: «„У веб-сайта будет высокий рейтинг, если будет высока сумма рейтингов его входящих ссылок“. Сюда относились случаи, когда у страницы имелось много входящих ссылок и когда на страницу ссылалось не так много, но авторитетных сайтов»[1073].