BotSeer - BotSeer

BotSeer был веб-информационной системой и инструментом поиска, используемым для исследования веб-роботов и тенденций в развертывании и соблюдении протокола исключения роботов . Он был создан и спроектирован Ян Сун, Исааком Дж. Консиллом, Цимингом Чжуаном и К. Ли Джайлсом . BotSeer теперь неактивен; исходный URL-адрес был https://web.archive.org/web/20100208214818/http://botseer.ist.psu.edu/

История

BotSeer служил ресурсом для изучения правил и поведения веб-роботов, а также информацией о создании эффективных файлов robots.txt и реализациях поисковых роботов. Он был публично доступен во всемирной паутине Колледжа информационных наук и технологий Университета штата Пенсильвания .

BotSeer предоставил три основных сервиса, включая поиск в robots.txt, анализ смещения роботов и анализ журналов, созданных роботами. Прототип BotSeer также позволял пользователям выполнять поиск в шести тысячах файлов документации и исходных кодах из 18 проектов поисковых роботов с открытым исходным кодом.

BotSeer проиндексировал и проанализировал 2,2 миллиона файлов robots.txt, полученных с 13,2 миллиона веб-сайтов, а также большой журнал веб-сервера о реальном поведении роботов и соответствующий анализ. Цели BotSeer заключались в том, чтобы помочь исследователям, веб-мастерам, разработчикам поисковых роботов и другим лицам в исследованиях и информационных потребностях, связанных с веб-роботами. Однако некоторые люди восприняли BotSeer отрицательно, утверждая, что это противоречит цели соглашения robots.txt.

BotSeer также установил приманку для проверки этики, производительности и поведения поисковых роботов .

Ссылки

  • «Веб-мастера могут формировать результаты поиска» . Newsvine. Ассошиэйтед Пресс. 28 ноября 2007 . Проверено 11 декабря 2011 .

Ноты

внешние ссылки

Смотрите также