Сообщений в теме: 11

[Виктор В.]

У каждого (во всяком случае, у большинства) на сайте есть файл robots.txt, который регулирует Ваши отношения с поисковыми роботами.
Но не каждый составлял этот файл самостоятельно и осознано. У большинства robotsы либо созданы плагинами, либо "передраны" с других файлов.
Есть еще одна группа файлов, авторы которых и не догадываются о существовании и необходимости robotsа.
Исходя из вышеизложенного, я думаю, будет полезно создать рубрику, в которой те, кто знает назначение строк запретов, поделятся с остальными.
Замечательно, если будет указываться ПРИЧИНА запрета индексации (по мнению пишущего).
Я начну:
Disallow: /cgi-bin – скриптов -- только не знаю, для чего запрещается индексация ;
Disallow: /wp-admin – админки -- тут понятно - это Ваша частная, личная информация;
Disallow: /wp-includes – не знаю, что это такое?
Disallow: /wp-content/plugins – плагинов -- это тоже понимаю - в плагинах дофига информации рекламного характера, как то адреса форумов или авторов;
Disallow: /wp-content/themes – тем -- то же, что и для плагинов;
Disallow: /wp-content/cache – кэша -- не знаю для чего запрещать;
Disallow: /trackback – трэкбеков -- вооще не знаю, что такое трекбек?
Disallow: /feed – фида (RSS ленты) -- не знаю для чего запрещать;
Disallow: /comments – комментариев -- тут понятно - комментарии содержат массу ссылок на сайты "коментаторов"
Disallow: /category/*/* – категорий (рубрик) -- не знаю для чего запрещать;
Disallow: /xmlrpc.php – не знаю, что это такое?

Для начала - достаточно.
Кто, что может добавить - не стесняйтесь...

Сообщение отредактировал Виктор В.: 13 Февраль 2012 - 09:12

[Виктор В.]

Disallow: /wp-includes – Функционал, типа библитек кода. Ядро. – файлы, не для посетителей (и, особенно, не для роботов)

Сообщение отредактировал Виктор В.: 10 Декабрь 2011 - 19:09

[Виктор В.]

Кое до чего сам додумался:
Disallow: /wp-content/cache – кэша -- запрещается для того, чтобы одни и те же статьи не индексировались по нескольку раз;
Disallow: /feed – фида (RSS ленты) -- по тем-же причинам...

Сообщение отредактировал Виктор В.: 12 Февраль 2012 - 15:28

[Артём Еремеевский]

Вы немного не понимаете суть robots.txt и работы WP.

WP работает через один файл index.php, далее ядро само берет нужную информацию из папок wp-plugins, feeds и т.п. Т.е. у вас никогда не фигурируют адреса типа: http://my-domain.ru/...some-plugin.php, поэтому соответственно нет нужды данную папку индексировать.

[Виктор В.]

Вы немного не понимаете суть robots.txt и работы WP.

WP работает через один файл index.php, далее ядро само берет нужную информацию из папок wp-plugins, feeds и т.п. Т.е. у вас никогда не фигурируют адреса типа: http://my-domain.ru/...some-plugin.php, поэтому соответственно нет нужды данную папку индексировать.

К тому же я "немного не понимаю", к какой конкретно строке относится данный комментарий?
Или это ко всей теме в целом?

[Артём Еремеевский]

Можно сказать, что ко всем строкам. Т.е. эти папки не используются напрямую в URL, у вас попросту не должны вызываться такие адреса как:
http://mydomain.com/wp-includes
http://mydomain.com/wp-content/pugins

ну и т.п. Все эти папки использует движок WP, соответственно напрямую из браузера они вызываться не должны, а следовательно и индексировать их нет нужды.

[Виктор В.]

ну и т.п. Все эти папки использует движок WP, соответственно напрямую из браузера они вызываться не должны, а следовательно и индексировать их нет нужды.

Так я их, собственно, и не индексирую, а ЗАПРЕЩАЮ... роботам их индексировать...

[Артём Еремеевский]

Так я их, собственно, и не индексирую, а ЗАПРЕЩАЮ... роботам их индексировать...

Я собственно тоже про роботов писал. Вы их как вообще индексировать можете?

[dslava]

Я только что осознал, что файл, robots.txt, лежащий в корне сервера и предназначенный для поисковых систем является огромной дырой в системе безопасности. К примеру, в своем файле я перечислил те каталоги, о которых посетителям знать не нужно, чтобы поисковые системы их не индексировали. Но ведь любой может ввести в строке браузера путь до robots.txt и получит на блюдечке список всего секретного. Как быть?

[Артём Еремеевский]

У вас каталоги должны быть защищены от доступа прямого.
Ну есть вариант ограничить доступ к robots.txt по User-Agent думаю, но он подделывается легко.

[kalika]

Но ведь любой может ввести в строке браузера путь до robots.txt и получит на блюдечке список всего секретного. Как быть?

<Files robots.txt>
order allow,deny
deny from all
</Files>
вставьте в htaccess этот код и будет Вам счастье

Сообщение отредактировал kalika: 24 Февраль 2012 - 06:16

[Артём Еремеевский]

вставьте в htaccess этот код и будет Вам счастье

И поисковику тоже, который не получит доступа к robots.txt