В таких условиях любая ручная работа по созданию дорвейных сайтов является нецелесообразным расточительством времени. 99,9 % дорвеев банятся автоматически, спам-аналитики поисковиков занимаются эвристическим поиском новых типов входных страниц и последующей настройкой программ их поиска. Поэтому единственный оправданный ручной труд дорвейщика – это разработка и усовершенствование программных средств для автоматизации всех этапов своей работы.
Дорвеи – это борьба умов и созданных ими роботов. Ситуация в этой борьбе постоянно изменяется. Стандартное программное обеспечение быстро становится неэффективным, отчего с каждым годом повышается порог входа новых игроков на рынок дорвеев. Чтобы сыграть в эту игру и добиться успеха, новичкам приходится все лучше программировать и вкладывать все больше средств.
Самым важным умением дорвейщика является умение избегать шаблонных решений. Задача его противника, спам-аналитика поисковой системы – обнаружить дорвей в результатах поиска и описать его характерные признаки, по которым программа сможет найти похожие входные страницы. Аналитику доступна вся информация, которой обладает поисковая система, и любые совпадения и закономерности могут быстро привести к обнаружению дорвейных сетей.
Например.
• Совпадения по whois-данным. Если владельцем дорвейного домена является гражданин А (ФИО, компания, город, контактный телефон, e-mail), могут быть проверены все другие домены по каждому признаку данного владельца.
• Совпадения по дате регистрации и регистратору. Если один и тот же дорвейный признак встречается у нескольких доменов, зарегистрированных в один день у одного регистратора, – могут быть проверены все такие домены.
• Совпадения по IP-адресу. Если несколько сайтов на одном IP оказываются дорвеями, могут быть проверены все сайты с хостингом на данном сервере (табл. 1).
• Совпадения по типу движка, особенностям верстки (названиям классов в CSS и т. д.) могут помочь выявить группу дорвейных сайтов, созданных с помощью одного шаблона (табл. 2).
• Совпадения по названиям доменов, страниц. Если у двух или более дорвейных сайтов или страниц похожие названия, могут быть найдены и проверены все известные поисковой системе сайты и страницы с похожими названиями (табл. 3).• Совпадения по ссылающимся страницам – все вышеперечисленное. Ссылки с разных доменов на одном IP-адресе, с сайтов, построенных на однотипном движке, принадлежащих одному владельцу и т. п.
Таблица 1. Подозрительные сайты расположены на одном IP
Таблица 2.Типичные названия доменов говорят о том, что сайты, скорее всего, принадлежат одному владельцу
Таблица 3.Типичные пути и названия страниц указывают на аффилированность сайтов
Более того, технология «Матрикснет», которую использует поисковая система «Яндекс», умеет автоматически определять и анализировать сотни параметров страницы – характеристики текста, верстки, домена, хостинга, посещаемости, ссылочного окружения и т. п. И при первом же попадании нового дорвея на заметку аналитику быстро находит похожие по разным совпадениям признаков страницы.Таким образом, современные дорвей должны быть: а) похожи на обычные сайты, б) не похожи друг на друга. Рассмотрим технологическую цепочку производства входных страниц.
Ключевые слова и фразы
Дорвей – это страница
Конечно, было бы хорошо сделать дорвеи для запросов с миллионами показов в месяц –
На рис. 58 фрагмент списка поисковых запросов оконной тематики. Выделена формулировка «сметная расценка на монтаж пластиковых окон».
Поиск цитаты запроса в «Яндексе» показал, что в Рунете нет ни одной страницы, которая содержала бы фразу запроса целиком (рис. 59).