Думаю многим известно, что на сайте (в том числе и блоге) желательно, чтобы был файл Robots.txt. Зачем он нужен и для чего уже написано достаточно, и повторять других я не буду.
Но скажу лишь одно: этот файл нужен не только для индексации, а для того чтобы индексация осуществлялась правильно и не было дублированного контента. Потому что поисковые системы почему-то индексируют часто не то, что надо, а то, что первым найдут – тэги, категории, архивы, RSS потоки, трекбэки.
Я уже видела не меньше десятка конфигураций файла robots, много комментариев и рассуждений по поводу, что надо писать, а что не надо. Казалось бы хорошо – нашел готовый файл Robots.txt, закинул его через FTP клиент в корень сайта и живи спокойно. Но тут есть одно «Но»: не все хостинги предоставляют FTP доступ к сайту. Вот у меня на Агаве его нет. Тем не менее файлик закинуть хочется.
Оказывается и из такой ситуации есть выход – установить плагин My FTP (у меня версия 1.2). Это хоть и неполноценный клиент, но удалить, загрузить и отредактировать файл он может.
И так, допустим, у нас уже установлен данный плагин и есть готовый файл Robots.txt. Для того, чтобы его загрузить надо зайти через админ. панель в Параметры => MyFTP, далее в поле File to upload через обзор выбрать файл и нажать кнопку Upload To Current Path. После этого файл будет загружен в корень сайта.
Проверить правильность загрузки можно, набрав адрес: ваш_сайт.ру/robots.txt
Например, у меня так
P.S. Если не знаете какую конфигурацию файла Robots.txt лучше взять — можно взять вот эту:
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Allow: /wp-content/uploads
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Allow: /wp-content/uploads
Host: ваш_сайт.ru
Sitemap: http://ваш_сайт.ru/sitemap.xml.gz
Sitemap: http://ваш_сайт.ru/sitemap.xml
Я конечно не утверждаю, что это единственно верная конфигурация, но у меня пока стоит именно такая. В дальнейшем возможно я что-то поменяю (UPD-18.03.10: таки да — уже поменяла)
Al (2)
kladez-zolota (2)
Larisenok (2)
MariaPerev (2)
Roman (2)
BaGi (1)
Elenka (1)
Irina (1)
outofsight (1)
Wee (1)
madonna4ka (107)
Дмитрий (87)
СерыйШансон (58)
tigr45 (51)
александр (44)
sherhan (41)
52 комментария
Арина
31.03.2011 в 00:54 (UTC 7) Ссылка на этот комментарий
С помощью этого плагина только файл Robots.txt можно отредактировать? У меня тоже нет доступа к FTP, на одном блоге. Хотелось бы ещё кое-что изменить…
Ответить
Ответ LaY_zzz:
Март 31st, 2011 в 06:37
Можно любой файл изменить, загрузить или удалить
Ответить
Ответ Арина:
Март 31st, 2011 в 20:47
Спасибо огромное!!! Ну где же ты раньше была? Я так расстраивалась, что у меня нет доступа к FTP.
Для Robots.txt тогда нашла другой плагин, прописала. Ох сколько у меня тогда страниц повылетало…
Ответить
Ответ LaY_zzz:
Март 31st, 2011 в 21:28
сама недавно его нашла, когда решила что надо бы как то файл роботс загрузить.
Ответить
Ответ Арина:
Март 31st, 2011 в 21:47
Я теперь ещё и смайлики нормальные смогу установить. ))) Да мало ли что, теперь всё, что надо, есть! Ура!
Ответить
Ответ LaY_zzz:
Март 31st, 2011 в 23:11
я никак не могу до смайлов добраться(
там плагин какой-то надо?
Ответить
Ответ Арина:
Март 31st, 2011 в 23:13
Я без плагина сделала на Шпильке, но через FTP. Когда разберусь с Очередным бзиком, отправлю тебе инструкцию. ;)
Ответить
Ответ LaY_zzz:
Апрель 1st, 2011 в 00:21
хорошо =)
Ответить
Atamovich
17.05.2011 в 14:53 (UTC 7) Ссылка на этот комментарий
Сжатую карту сайта нужно ставить, только если она есть, иначе очень не желательно)
я говорю про /sitemap.xml.gz
Спасибо, очень полезная статья.
Ответить
Ответ LaY_zzz:
Май 17th, 2011 в 22:44
всегда пожалуйста)
у меня карта сайта и сжатая и несжатая есть
Ответить
Ольга
30.10.2011 в 17:21 (UTC 7) Ссылка на этот комментарий
Мне всетаки не понятно от куда взять этот робот, или как посмотреть есть он на сайте или нет?
Ответить
Ответ LaY_zzz:
Октябрь 30th, 2011 в 20:16
его нужно создать в любом текстовом редакторе, например, в блокноте. потом загрузить на сайт. у вас на сайте этого файла нет. это вы можете проверить, набрав в браузере строку
Ответить
Ответ Ольга:
Октябрь 31st, 2011 в 00:47
Большое спасибо. Попробую.
Ответить
Ответ Ольга:
Октябрь 31st, 2011 в 00:52
А можно еще вопрос, от чайника. Куда загружать на сайт этот текстовой документ?
Ответить
Ответ LaY_zzz:
Октябрь 31st, 2011 в 07:45
в корень сайта
Ответить
outofsight
13.12.2011 в 21:32 (UTC 7) Ссылка на этот комментарий
У меня заброшены файлы для роботов в корневую папку сайта, но пока разницы не вижу: что с картой, что без карты. А одну карту почему-то Яндекс не распознаёт, не могу понять причину (
Ответить
Ответ LaY_zzz:
Декабрь 13th, 2011 в 21:45
смотря что в карте написано. вообще разница в индексации есть
Ответить
Вячеслав
22.01.2012 в 13:38 (UTC 7) Ссылка на этот комментарий
этот файл устанавливать в эту папку public_html?
Ответить
Ответ LaY_zzz:
Январь 22nd, 2012 в 14:00
у меня нету такой папки. файл лежит в корне сайта
Ответить
Вячеслав
22.01.2012 в 14:03 (UTC 7) Ссылка на этот комментарий
а где корень сайта?
Ответить
Ответ LaY_zzz:
Январь 22nd, 2012 в 14:36
там где папки wp-admin, wp-content, wp-includes
и еще куча разных файлов, начинающихся на wp-
Ответить
Вячеслав
22.01.2012 в 14:47 (UTC 7) Ссылка на этот комментарий
вот туда я и выложил, и у меня после этого сайт перестал работать.
Ответить
← Ранее 1 2