Анализ размеров страниц. Анализ предельных значений размеров страниц позволяет обнаружить неочевидные ошибки, например страницы с очень маленьким весом, которые могут создаваться из-за ошибок CMS. Анализ предельных значений проводится по типам страниц и разделам сайта. Верстка должна быть оптимизирована, чтобы страницы грузились быстро.
Анализ логов сайта, поиск страниц, которые не посещал робот. Анализ логов позволяет понять, какие страницы посещал робот. Это важно, например, при работе над индексацией страниц. Бывает так, что страница посещается роботом, но в индекс не попадает.
□ По User-Agent можно узнать, робот какой ПС заходил на страницу.
□ В логах хранятся запросы.
□ В логах хранится дата посещения.
□ В логах хранится URL страницы.
□ В логах хранится код ответа.
Сервисы для анализа логов: Awstats, WebAlizer, Analog, Logalyzer.
Индексация
Проверка индексации каждой страницы сайта. Индексация особенно важна для больших проектов. Если в индекс попадают мусорные страницы (дубликаты, страницы с ошибками, пустые страницы), важные страницы (продвигаемые) получают меньше статического веса. Если в индекс не попадают важные страницы, сайт недополучает трафик. Проверка включает в себя:
□ составление списка всех важных страниц сайта (выгрузкой из БД, вручную);
□ составление списка всех страниц сайта (с помощью программы Page-weight или Xenu);
□ проверку всех ссылок с помощью запросов url:http://www.site.ru/page/ и url:http://site.ru/page/, используя автоматический парсер ПС (программа A-Parser);
□ составление четырех списков:
■ всех проиндексированных важных страниц;
■ всех проиндексированных мусорных страниц;
■ всех непроиндексированных важных страниц;
■ всех непроиндексированных мусорных страниц.
Составление списка непроиндексированных страниц, посещенных роботом. В некоторых случаях после посещения роботом страница не попадает в индекс. Важно отличать такие страницы от тех, которые не в индексе и робот их не посещал, поскольку технология индексации таких страниц различается. Выполните следующие действия:
□ при помощи анализа логов составьте список страниц, которые посещал робот;
□ получите списки важных непроиндексированных страниц, не посещенных и посещенных роботом;
□ изучите список непроиндексированных страниц, которые не посещал робот ПС. На эти страницы необходимо привести робота, чтобы они попали в индекс;
□ изучите список непроиндексированных страниц, которые посетил робот ПС. Это страницы, которые имеют проблемы с дублями или статическим весом.
Проверка возможности индексации важных областей на Flash– и Ajax-сайтах. При продвижении творческих проектов важно изучить индексацию областей, при написании которых использовались технологии Flash, Ajax или другие, с индексацией которых могут возникнуть проблемы.
□ Необходимо по матрице сайта открыть текстовые сохраненные копии страниц всех типов и найти тексты, выложенные с помощью этих технологий. Если текст найти удалось – значит, блок индексируется.
□ В редких случаях даже при отсутствии Flash и Ajax на сайте может быть настолько «кривая» верстка, что текст не попадет в текстовый индекс.
Проверка возможности индексации всех страниц сайта при текущих инструкциях robots·txt. После корректировки robots.txt необходимо проверить, что все важные страницы доступны для индексации. Проверка осуществляется сервисом http://webmaster.yandex.ru/robots.xml.
Проверка целесообразности использования
□ сделать проверку по матрице сайта (сервисы RDS-bar, «СайтРепорт»);
□ найти незакрытые
□ изучить, какие внутренние ссылки закрыты в nofollow;
□ изучить, какие внешние ссылки закрыты в nofollow;
□ изучить, какие страницы закрыты в meta noindex;
□ изучить, какие страницы закрыты в meta nofollow;
□ изучить, есть ли на сайте SEOHide и корректно ли он внедрен.
Проверка корректности использования
□ незакрытый
□ индексируемый SEOHide;
□ проверка корректности SEOHide с помощью плагина WebDeveloper;
□ важные страницы с meta nofollow, meta noindex;
□ nofollow на внутренних ссылках.