Все поисковые боты при заходе на сайт в первую очередь ищут этот файл. Robots.txt — текстовый файл, который расположен в корне сайта и содержит инструкции для поисковых систем относительно данного сайта. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

В большинстве случаев стандартного варианта robots.txt более чем достаточно. Если же вам необходимо изменить стандартный вариант, сделать это можно при помощи текстового редактора. Главное, не забывайте после внесенных изменений проверить корректность вашего robots.txt при помощи панели веб-мастера Google или Яндекса.
faq.ucoz