пятница, 03 апреля 2020
00:54

роботы в замешательстве

все записи пользователя в сообществе CD_Eater
тролль - это не только ценный жир, но и 3-4 легкоусвояемых коммента ежедневно
а будет ли файл robots.txt корректно работать, если навставлять в него html-тэгов, как это сделано на дайриках?

@темы: Интернет

URL
Комментарии
03.04.2020 в 01:05

Wild Card
"Торжественно клянусь, что замышляю шалость и только шалость!" (c)
Так тут, вроде, обычно всё. Валидатор яндекса не жалуется: webmaster.yandex.ru/tools/robotstxt/?hostName=h...

Если curl посмотреть, либо исходный код ctrl+U то там обычный текст приходит. Content-Type только неверный указан, должен быть text/plain.
URL
03.04.2020 в 10:15

CD_Eater
тролль - это не только ценный жир, но и 3-4 легкоусвояемых коммента ежедневно
хы-хы
уже исправили )))
URL