Раскрутка / Продвижение
| Главная » Статьи » Создание сайта |
Путеводитель для роботов - файл robots.txt
| Чтобы поисковая система знала, в каком направлении ей следует двигаться при обследовании неизвестного сайта, необходимо создать специальный путеводитель для роботов. Он именно так и называется: файл robots.txt. Его ищут роботы, когда начинают индексацию веб-ресурса и отсюда они получают все основные инструкции. Поэтому, чтобы ничего не напутать, вам нужно достоверно узнать о файле robots.txt. Данный файл robots.txt должен храниться в корневой папке вашего сайта, здесь его надеются обнаружить поисковые роботы. С его помощью вы удачно избежите так называемого «зазеркаливания», а также сможете отключить от индексации те страницы и директории, которые не хотите делать видимыми для робота. Как вы уже поняли из формата .txt, этот файл является текстовым, а создается он при помощи самого простого текстового редактора – Блокнота. Тут вы должны задать все необходимые параметры, после чего сохранить документ под названием robots и переместить его в «корневище» своего ресурса. Главные параметры файла robots.txt – это User-Agent: и Disallow:. Первый указывает на то, для каких поисковиков заданы определенный действия, а второй – что нужно спрятать от индексации. Если вы поставите такую строку: User-Agent:*, то это будет значить, что действия указаны для всех поисковых роботов (обычно так все и пишут). В Disallow нужно указать непосредственно директорию, к примеру, Disallow: /folder/ или страницу: Disallow: /page.html. В принципе, это все основные данные, которые касаются файла robots.txt. Как видите, все довольно просто и незамысловато, и чтобы справиться с данным мероприятием, не нужны особенно высокие и глубокие навыки! Но чтобы не было лишних «зеркальных» проблем с Яндексом, лучше специально прописать для данной поисковой службы отдельный параметр, который будет указывать ему, по какому адресу индексировать сайт. Этот параметр выглядит так: host:. Если вы хотите, чтобы все страницы шли с адресом с www, то нужно будет указать домен с этим прибавлением, если же нет, то без него. К примеру, вот как должна выглядеть конечная картинка, если вы отказались от www: User-Agent: Yandex Host: myproject.ru. Ну вот, это единственная тонкость, о которой стоило замолвить словечко! В остальном все пройдет легко и просто! В играх есть коды - http://cheatsbase.ru. Посмотрите их там много. | |
| Просмотров: 2037 | Рейтинг: 0.0/0 |
| Всего комментариев: 0 | |