Как победить ботов в блоге на Эгее
С апреля у меня резко, на порядок, увеличилось число читателей блога. Сначала подумал, что пришло заслуженное признание. Но изучение логов показало, что это боты.
Боты мне раньше гадили в комментариях. Примерно так:
Тогда я заблокировал серию ай-пи и закрыл комментарии ко всем заметкам.
В новых версиях Эгеи Илья Бирман улучшил защиту от ботов-комментаторов и мусор оттуда исчез. Но боты остались и стали накручивать число посетителей. Это нечестно по отношению к читателям и создает у меня ложные иллюзии.
Даю рецепт, как запретить ботам читать блог. Он основан на совете из базы знаний Аквиа.
Избавляем Эгею от ботов
Заходим в каталог блога Эгеи, открываем .htaccess и в начало файла дописываем три следующих строчки:
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} 11A465|Ahrefs|ArchiveBot|AspiegelBot|Baiduspider|bingbot|BLEXBot|Bytespider|CCBot|Curebot|Daum|Detectify|DotBot|Grapeshot|heritrix|Kinza|LieBaoFast|Linguee|LMY47V|MauiBot|Mb2345Browser|MegaIndex|MicroMessenger|MJ12bot|MQQBrowser|PageFreezer|PiplBot|Riddler|Screaming.Frog|Search365bot|Seekport|SemanticScholarBot|SemrushBot|SEOkicks|serpstatbot|Siteimprove.com|Sogou.web.spider|trendictionbot|TurnitinBot|UCBrowser|weborama-fetcher|Vagabondo|VelenPublicWebCrawler|YisouSpider [NC]
RewriteRule ^.* - [F,L]Первая — разрешает использовать правила переадресации. Вторая — сопоставляет имя программы посетителя с перечисленными именами ботов. Третья — запрещает читать страницы блога, если найдено совпадение имен.
Проверю действие на этой заметке. Если за три дня у нее не будет сотен прочтений, значит правила работают.
На этом все.
