Материалы с меткой: ростелеком

Ростелеком последнее время занимается сканированием сайтов. Их поисковый робот никаким образом, как это обычно принято, не представляясь. Игнорируя директиву crawler-delay в файле robots.txt методично перебирает все страницы, что не лучшим образом может сказываться на работоспособности сервера. Попытки заблокировать досту

Читать целиком.