Профессиональный поиск в Интернете

В качестве примеров многочисленных тематических видеопоисковиков мы рассмотрели образовательные ресурсы. Бесспорным лидером среди российских проектов образовательного видеопоиска является проект UniverTV. Собственный контент и ориентация на требования российской системы образования делают его весьма ценным ресурсом. Для знакомства с зарубежными ресурсами такой тематики весьма хорош сервис LearnersTV. Если языковой барьер для вас не проблема, то вы получите доступ к большому количеству хорошо структурированных видеокурсов по широкому спектру дисциплин. Нельзя не отметить и возможность удобного скачивания найденных видеоматериалов, чего не предлагают конкуренты.

Глава 9 Поиск «скрытого» контента

Контент глобальных сетей никогда не ограничивался общедоступными сайтами и ресурсами. Значительное количество ресурсов были и остаются в большей или меньшей степени закрытыми. Причины такого ограничения доступа могут быть самыми разными. Современные универсальные поисковики не отличаются выдающимися способностями в плане индексирования и поиска такой информации, поэтому ресурсы, скрытые от интернет-поисковиков, автоматически становятся невидимы пользователям. Для поиска скрытого контента требуются специализированные инструменты, речь о которых и идет в данной главе. Ее начало посвящено поиску FTP-ресурсов, которые изначально являлись скрытыми от поисковиков ресурсами в Сети и которые продолжают сохранять свое значение в наше время. Поиск необходимых файлов через FTP-поисковики в общем случае реализуется проще поиска веб-документов в Сети, однако имеет свои особенности, о которых и идет речь. При этом основное внимание уделено общим для всех таких ресурсов инструментам и приемам работы.

Крупным источником скрытого для обычных поисковиков контента являются различные торрент-ресурсы. О лучших представителях метапоисковиков, работающих одновременно со многими торрент-трекерами, также рассказывается в этой главе. Еще один источник скрытого контента – многочисленные сервисы хранения файлов. Как правило, непосредственный поиск в их архивах запрещен, однако существует ряд поисковых инструментов, позволяющих обойти это ограничение.

Кроме подобных ресурсов к скрытому контенту можно отнести данные, представленные в ряде современных форматов, с которыми популярные универсальные поисковики напрямую не работают или работают в ограниченном объеме. Сюда, в частности, можно отнести данные, представленные в форматах «семантического веба», приложения которого часто относят к поколению Web 3.0. Не забыты и специализированные инструменты поиска информации в более привычном современному пользователю формате RSS.

Поиск FTP-ресурсов

Протокол FTP (File Transfer Protocol) предназначен для передачи файлов между компьютерами. По компьютерным меркам эта технология имеет весьма почтенный возраст. Сильные стороны этого протокола – простота и надежность. С точки зрения пользователя, FTP-сервер – это архив файлов самого различного плана. Важной характеристикой FTP-сервера является возможность доступа к нему. Значительная часть FTP-серверов предлагают пользователям лишь ограниченный доступ. В то же время существует большое количество публичных FTP-серверов, доступ к которым открыт для всех желающих. Именно такие ресурсы представляют интерес в плане интернет-поиска.

Специализированные FTP-поисковики индексируют большое количество FTP-серверов, поэтому обращение к ним позволит провести одновременный поиск файла в нескольких источниках, в данном случае – в FTP-архивах, что значительно сокращает затраты времени.

Получением списка ссылок на серверы, которые располагают подходящими файлами, FTP-поиск не заканчивается. Такие системы обычно предлагают ряд дополнительных услуг. Они позволяют сравнивать размеры найденных файлов с одинаковыми именами, проверяют доступность и скорость работы серверов, а также оценивают работоспособность ссылок на конкретные файлы. «Мертвые» ссылки в базе поисковика появляются, когда владельцы FTP-сервера их удаляют или закрывают к ним доступ, кроме того, сам сервер может быть временно недоступен. В идеале, проведя такой поиск, пользователь должен получить рабочую ссылку на нужный файл, находящийся на максимально быстром сервере, с которого этот файл можно свободно и без лишнего беспокойства скачать.

Хранящиеся на FTP-серверах файлы обладают гораздо меньшим количеством поисковых признаков, чем веб-страницы, с которыми работают универсальные интернет-поисковики. По большому счету, доступные признаки сводятся к имени файла или каталога. Это обуславливает специфику FTP-поиска. В его ходе основной акцент делается на использование в запросе спецсимволов и масок. С одной стороны, это упрощает составление запроса, с другой – повышает требования к его корректности.