DIZ-CS.RU - Мы с Вами НАВСЕГДА!
Активный форум » WEB-мастеру » Вопросы и ответы на FAQ по uCoz » Вопрос по robots.txt
  • Страница 1 из 1
  • 1
Сообщение # 1
Аватарка icesewer
OFF
Пользователь
Сообщения:83
Награды:0
Отзывы:-1
Skype пользователя:
Что такое??
Длеаю проверку у меня вот такое случилось!оО cry
http://www.imageup.ru/img36/bezymyannyjj719177.jpg.html

Некорректное имя главного зеркала сайта
Сообщение # 2
Аватарка syp41k
OFF
Премиум
Сообщения:969
Награды:345
Отзывы:5
Skype пользователя:
Сайт пользователя:
без хттп и последнего слеша, чисто домен нужно вводить.
Сообщение # 3
Аватарка icesewer
OFF
Пользователь
Сообщения:83
Награды:0
Отзывы:-1
Skype пользователя:
А всё ясно!Разобрался!
Вот я тут проверил!По моему лучше сделать Robots.txt таким!
User-Agent: msnbot
Disallow: /

User-Agent: bingbot
Disallow: /

User-Agent: *
Disallow:

Нету блокировок страниц!)

Лучше же чем:

User-agent: *
Disallow: /stat/
Disallow: /search/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /mchat

Sitemap: http://sewer.clan.su/sitemap.xml
Sitemap: http://sewer.clan.su/sitemap-forum.xml

????
Сообщение # 4
Аватарка syp41k
OFF
Премиум
Сообщения:969
Награды:345
Отзывы:5
Skype пользователя:
Сайт пользователя:
Quote (icesewer)
Нету блокировок страниц!)

спама много в выдаче будет = +% попасть под АГС
Сообщение # 5
Аватарка icesewer
OFF
Пользователь
Сообщения:83
Награды:0
Отзывы:-1
Skype пользователя:
Fidelist
я вообще в робостах не смыслю!
Ну значит этот лучше?
User-agent: *
Disallow: /stat/
Disallow: /search/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /mchat

Sitemap: http://sewer.clan.su/sitemap.xml
Sitemap: http://sewer.clan.su/sitemap-forum.xml
  • Страница 1 из 1
  • 1
Поиск:
Писать на форуме могут только авторизованные пользователи.