«

»

Мар 17 2011

Устанавливаем Robots.txt на блог WordPress без FTP доступа к сайту

Думаю многим известно, что на сайте (в том числе и блоге) желательно, чтобы был файл Robots.txt. Зачем он нужен и для чего уже написано достаточно, и повторять других я не буду.

Но скажу лишь одно: этот файл нужен не только для индексации, а для того чтобы индексация осуществлялась правильно и не было дублированного контента. Потому что поисковые системы почему-то индексируют часто не то, что надо, а то, что первым найдут – тэги, категории, архивы, RSS потоки, трекбэки.

Я уже видела не меньше десятка конфигураций файла robots, много комментариев и рассуждений по поводу, что надо писать, а что не надо. Казалось бы хорошо – нашел готовый файл Robots.txt, закинул его через FTP клиент в корень сайта и живи спокойно. Но тут есть одно «Но»: не все хостинги предоставляют FTP доступ к сайту. Вот у меня на Агаве его нет. Тем не менее файлик закинуть хочется.

Оказывается и из такой ситуации есть выход – установить плагин My FTP (у меня версия 1.2). Это хоть и неполноценный клиент, но удалить, загрузить и отредактировать файл он может.

И так, допустим, у нас уже установлен данный плагин и есть готовый файл Robots.txt. Для того, чтобы его загрузить надо зайти через админ. панель в Параметры => MyFTP, далее в поле File to upload через обзор выбрать файл и нажать кнопку Upload To Current Path. После этого файл будет загружен в корень сайта.

Проверить правильность загрузки можно, набрав адрес:  ваш_сайт.ру/robots.txt
Например, у меня так

P.S. Если не знаете какую конфигурацию файла Robots.txt лучше взять — можно взять вот эту:

Я конечно не утверждаю, что это единственно верная конфигурация, но у меня пока стоит именно такая. В дальнейшем возможно я что-то поменяю (UPD-18.03.10: таки да — уже поменяла)

56 комментариев

Перейти полю для комментария

  1. Арина

    С помощью этого плагина только файл Robots.txt можно отредактировать? У меня тоже нет доступа к FTP, на одном блоге. Хотелось бы ещё кое-что изменить…

    1. LaY_zzz

      Можно любой файл изменить, загрузить или удалить

      1. Арина

        Спасибо огромное!!! Ну где же ты раньше была? Я так расстраивалась, что у меня нет доступа к FTP.
        Для Robots.txt тогда нашла другой плагин, прописала. Ох сколько у меня тогда страниц повылетало…

        1. LaY_zzz

          сама недавно его нашла, когда решила что надо бы как то файл роботс загрузить.

          1. Арина

            Я теперь ещё и смайлики нормальные смогу установить. ))) Да мало ли что, теперь всё, что надо, есть! Ура!

            1. LaY_zzz

              я никак не могу до смайлов добраться(
              там плагин какой-то надо?

              1. Арина

                Я без плагина сделала на Шпильке, но через FTP. Когда разберусь с Очередным бзиком, отправлю тебе инструкцию. ;)

                1. LaY_zzz

                  хорошо =)

  2. Atamovich

    Сжатую карту сайта нужно ставить, только если она есть, иначе очень не желательно)
    я говорю про /sitemap.xml.gz
    Спасибо, очень полезная статья.

    1. LaY_zzz

      всегда пожалуйста)
      у меня карта сайта и сжатая и несжатая есть

  3. Ольга

    Мне всетаки не понятно от куда взять этот робот, или как посмотреть есть он на сайте или нет?

    1. LaY_zzz

      его нужно создать в любом текстовом редакторе, например, в блокноте. потом загрузить на сайт. у вас на сайте этого файла нет. это вы можете проверить, набрав в браузере строку http://lucisevseh.ru/robots.txt

      1. Ольга

        Большое спасибо. Попробую.

        1. Ольга

          А можно еще вопрос, от чайника. Куда загружать на сайт этот текстовой документ?

          1. LaY_zzz

            в корень сайта

  4. outofsight

    У меня заброшены файлы для роботов в корневую папку сайта, но пока разницы не вижу: что с картой, что без карты. А одну карту почему-то Яндекс не распознаёт, не могу понять причину (

    1. LaY_zzz

      смотря что в карте написано. вообще разница в индексации есть

  5. Вячеслав

    этот файл устанавливать в эту папку public_html?

    1. LaY_zzz

      у меня нету такой папки. файл лежит в корне сайта

  6. Вячеслав

    а где корень сайта?

    1. LaY_zzz

      там где папки wp-admin, wp-content, wp-includes
      и еще куча разных файлов, начинающихся на wp-

  7. Вячеслав

    вот туда я и выложил, и у меня после этого сайт перестал работать.

  8. Iryna

    У меня websmater tools говорит что нет доступа к Robots.txt — выложила пока такой формат, поменяв конечно же ссылки на свой сайт, посмотрим что из этого выйдет.
    но вообще wordpress как- то сам устанавливает сам robots … такое впервые , что google не может получить доступ в robots и не хочет индексировать сайт :(

    1. LaY_zzz

      google индексирует сайт и без файла роботс, просто в этом случае он будет индексировать всё подряд

  9. Kopirajter-ivanov

    Здравствуйте, я новичка в Сайто строении, возник вопрос по поводу директивы disallow:/ cgi — bin. Если ч правильно понимаю, то эта директива запрещает индексации страниц. Как тогда робот будет индексировать контент, который расположен на страницах?

    1. LaY_zzz

      У wordpress страницы находятся в других директориях.
      Но у меня robots.txt такой:

      User-agent: *
      Disallow: /wp-admin
      Disallow: /wp-includes
      Disallow: /wp-content/plugins
      Disallow: /wp-content/cache
      Disallow: /wp-content/themes
      Disallow: /trackback
      Disallow: */trackback
      Disallow: */*/trackback
      Disallow: */*/feed/*/
      Disallow: */feed
      Disallow: /*?*
      Disallow: /xmlrpc.php
      Sitemap: http://vsyo-v-meste.ru/sitemap.xml
      Sitemap: http://vsyo-v-meste.ru/sitemap.xml.gz
      Sitemap: http://vsyo-v-meste.ru/post-sitemap.xml
      Sitemap: http://vsyo-v-meste.ru/page-sitemap.xml

      User-agent: Yandex
      Disallow: /wp-admin
      Disallow: /wp-includes
      Disallow: /wp-content/plugins
      Disallow: /wp-content/cache
      Disallow: /wp-content/themes
      Disallow: /trackback
      Disallow: */trackback
      Disallow: */*/trackback
      Disallow: */*/feed/*/
      Disallow: */feed
      Disallow: /*?*
      Disallow: /xmlrpc.php
      Host: vsyo-v-meste.ru

Загрузить еще комментарии

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *