Как победить ботов в блоге на Эгее

Антон Лях — Wed, 08 Apr 2020 16:12:36 +0300

С апреля у меня резко, на порядок, увеличилось число читателей блога. Сначала подумал, что пришло заслуженное признание. Но изучение логов показало, что это боты.

Боты мне раньше гадили в комментариях. Примерно так:

Тогда я заблокировал серию ай-пи и закрыл комментарии ко всем заметкам.

В новых версиях Эгеи Илья Бирман улучшил защиту от ботов-комментаторов и мусор оттуда исчез. Но боты остались и стали накручивать число посетителей. Это нечестно по отношению к читателям и создает у меня ложные иллюзии.

Даю рецепт, как запретить ботам читать блог. Он основан на совете из базы знаний Аквиа.

Избавляем Эгею от ботов

Заходим в каталог блога Эгеи, открываем .htaccess и в начало файла дописываем три следующих строчки:

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} 11A465|Ahrefs|ArchiveBot|AspiegelBot|Baiduspider|bingbot|BLEXBot|Bytespider|CCBot|Curebot|Daum|Detectify|DotBot|Grapeshot|heritrix|Kinza|LieBaoFast|Linguee|LMY47V|MauiBot|Mb2345Browser|MegaIndex|MicroMessenger|MJ12bot|MQQBrowser|PageFreezer|PiplBot|Riddler|Screaming.Frog|Search365bot|Seekport|SemanticScholarBot|SemrushBot|SEOkicks|serpstatbot|Siteimprove.com|Sogou.web.spider|trendictionbot|TurnitinBot|UCBrowser|weborama-fetcher|Vagabondo|VelenPublicWebCrawler|YisouSpider [NC]

RewriteRule ^.* - [F,L]

Первая — разрешает использовать правила переадресации. Вторая — сопоставляет имя программы посетителя с перечисленными именами ботов. Третья — запрещает читать страницы блога, если найдено совпадение имен.

Проверю действие на этой заметке. Если за три дня у нее не будет сотен прочтений, значит правила работают.

На этом все.

Математик среди биологов: заметки с тегом боты

Как победить ботов в блоге на Эгее

Избавляем Эгею от ботов