BotSeer - BotSeer
BotSeer был веб-информационной системой и инструментом поиска, используемым для исследования веб-роботов и тенденций в развертывании и соблюдении протокола исключения роботов . Он был создан и спроектирован Ян Сун, Исааком Дж. Консиллом, Цимингом Чжуаном и К. Ли Джайлсом . BotSeer теперь неактивен; исходный URL-адрес был https://web.archive.org/web/20100208214818/http://botseer.ist.psu.edu/
История
BotSeer служил ресурсом для изучения правил и поведения веб-роботов, а также информацией о создании эффективных файлов robots.txt и реализациях поисковых роботов. Он был публично доступен во всемирной паутине Колледжа информационных наук и технологий Университета штата Пенсильвания .
BotSeer предоставил три основных сервиса, включая поиск в robots.txt, анализ смещения роботов и анализ журналов, созданных роботами. Прототип BotSeer также позволял пользователям выполнять поиск в шести тысячах файлов документации и исходных кодах из 18 проектов поисковых роботов с открытым исходным кодом.
BotSeer проиндексировал и проанализировал 2,2 миллиона файлов robots.txt, полученных с 13,2 миллиона веб-сайтов, а также большой журнал веб-сервера о реальном поведении роботов и соответствующий анализ. Цели BotSeer заключались в том, чтобы помочь исследователям, веб-мастерам, разработчикам поисковых роботов и другим лицам в исследованиях и информационных потребностях, связанных с веб-роботами. Однако некоторые люди восприняли BotSeer отрицательно, утверждая, что это противоречит цели соглашения robots.txt.
BotSeer также установил приманку для проверки этики, производительности и поведения поисковых роботов .
Ссылки
- «Веб-мастера могут формировать результаты поиска» . Newsvine. Ассошиэйтед Пресс. 28 ноября 2007 . Проверено 11 декабря 2011 .
- "Google в пользу веб-администраторов" . Сетевой мир. 15 ноября 2007 года Архивировано из оригинала 18 декабря 2007 года . Проверено 19 декабря 2007 .
Ноты
внешние ссылки
- "BotSeer: Robots.txt и поисковая машина веб-сканера" . Архивировано из оригинала на 2010-02-08 . Проверено 11 декабря 2011 .