История изменений robots.txt
В разделе отслеживается файл с инструкциями для поисковых роботов — файл robots.txt.
Функция отключаемая, так что при желании вы можете отключить ее в шапке страницы.
Файл проверяется на наличие правок и изменений что производились в нем.
В случае если документ будет удален то статус ответа будет отличным от 200.
Если документ будет исправлен — то у нас будет сравнение то как файл выглядел до и после правок.
