Но не каждый составлял этот файл самостоятельно и осознано. У большинства robotsы либо созданы плагинами, либо "передраны" с других файлов.
Есть еще одна группа файлов, авторы которых и не догадываются о существовании и необходимости robotsа.
Исходя из вышеизложенного, я думаю, будет полезно создать рубрику, в которой те, кто знает назначение строк запретов, поделятся с остальными.
Замечательно, если будет указываться ПРИЧИНА запрета индексации (по мнению пишущего).
Я начну:
Disallow: /cgi-bin – скриптов -- только не знаю, для чего запрещается индексация ;
Disallow: /wp-admin – админки -- тут понятно - это Ваша частная, личная информация;
Disallow: /wp-includes – не знаю, что это такое?
Disallow: /wp-content/plugins – плагинов -- это тоже понимаю - в плагинах дофига информации рекламного характера, как то адреса форумов или авторов;
Disallow: /wp-content/themes – тем -- то же, что и для плагинов;
Disallow: /wp-content/cache – кэша -- не знаю для чего запрещать;
Disallow: /trackback – трэкбеков -- вооще не знаю, что такое трекбек?
Disallow: /feed – фида (RSS ленты) -- не знаю для чего запрещать;
Disallow: /comments – комментариев -- тут понятно - комментарии содержат массу ссылок на сайты "коментаторов"
Disallow: /category/*/* – категорий (рубрик) -- не знаю для чего запрещать;
Disallow: /xmlrpc.php – не знаю, что это такое?
Для начала - достаточно.
Кто, что может добавить - не стесняйтесь...
Сообщение отредактировал Виктор В.: 13 Февраль 2012 - 09:12