Сообщений в теме: 27

[тёма]

Проблема заключается в том, что гугл не хочет индексировать мои страницы... к примеру возьмём 4 статьи, с уникальным текстом, он с начало их добавил в индекс, а потом убрал, пометив как ошибки сканирования.
Ещё я заметил, что на конце каждой ссылки на мою статью присутствует вот такая херь " /feed " да и вообще, где присутствует эта надпись он не хочет индексировать...
Примеры ссылок:
http://discovery.jr1...a-☭-2.html/feed
http://discovery.jr1...liz-2.html/feed (почему он их добавляет к каждой статье не знаю..)

[Вадим Гурьев]

Так это он просканировал не сайт, а ваш rss фид. И вы уверены, что текст статей уникален? Прогоняли его через какой-нибудь Адвего Плагиатус или подобную программу?
И еще совет - уберите рекламу. Пока ваш сайт не получил ТИЦ хотя бы 10-20, лучше не размещать никаких сторонних ссылок и рекламы.
И сделайте перелинковку, чтобы боты гугля подольше поползали по статьям и лучше их индексировали.

[4Biz]

Вообще то, что гугл забирает страницы, через некоторое время убирает это часто бывает. Позже он их возвращает в индекс (может через неделю). То, что он почему-то сейчас индексирует твои фиды - ну может фиды ему поиндексить захотелось)) не знаю, честно говоря, зачем он начал с них.

Те страницы, что в блоке "лучшие темы", не зашли в индекс? А вообще какие-нибудь зашли успешно?)

Честно говоря, очень странно, что там за такие ошибки сканирования.. подробностей никаких нет?

[тёма]

Так это он просканировал не сайт, а ваш rss фид. И вы уверены, что текст статей уникален? Прогоняли его через какой-нибудь Адвего Плагиатус или подобную программу?
И еще совет - уберите рекламу. Пока ваш сайт не получил ТИЦ хотя бы 10-20, лучше не размещать никаких сторонних ссылок и рекламы.
И сделайте перелинковку, чтобы боты гугля подольше поползали по статьям и лучше их индексировали.

Спасибо, текст статей уникален пользуюсь адвего...
Всплывающий баннер убрать 30р\мес. только толку если блог пока не посещаем...
Хм, странно а когда же он начнёт индексировать сами статьи...хмм уже прошло очень много времени порядка месяца...

[тёма]

Те страницы, что в блоке "лучшие темы", не зашли в индекс? А вообще какие-нибудь зашли успешно?)

Честно говоря, очень странно, что там за такие ошибки сканирования.. подробностей никаких нет?

Ну было в индексе 6, осталось 2=))
Неа нету никаких подробностей, просто пишет вот это "URL, запрещенный файлом robots.txt"

Сообщение отредактировал тёма: 24 Октябрь 2010 - 15:00

[4Biz]

Ну ссылки вообще какие-то есть внешние? Или как гугл узнал о сайте? Или ты через аддурл гугловский закидывал? Если да, то как давно?

Гугл фиды, кстати, очень быстро индексирует..) очень.. у меня через секунд 30 попадали статьи блога в индекс, после размещения статьи на сайте Правда блог я теперь забросил, поэтому уже не слежу за скоростью индексацией.
Блог, кстати, вордпрессовский был.

[4Biz]

Ну было в индексе 6, осталось 2=))
Неа нету никаких подробностей, просто пишет вот это "URL, запрещенный файлом robots.txt"

хахах, ничего себе никаких подробностей
http://discovery.jr1.ru/robots.txt - а чего это за штука-то такая? Может убрать её совсем лучше? Странные вещи написаны.. полезного в них ничего не вижу, а бесполезного.. фиг знает как на такой запрет к индексации откликнутся боты. Ну вот видимо так и откликнулись уже.

Строчку с disallow - убери. Сайтмэп и юзер-агент пусть, ессно, остаются.

Сообщение отредактировал 4Biz: 24 Октябрь 2010 - 15:05

[тёма]

хахах, ничего себе никаких подробностей
http://discovery.jr1.ru/robots.txt - а чего это за штука-то такая? Может убрать её совсем лучше? Странные вещи написаны.. полезного в них ничего не вижу, а бесполезного.. фиг знает как на такой запрет к индексации откликнутся боты. Ну вот видимо так и откликнулись уже.

Строчку с disallow - убери. Сайтмэп и юзер-агент пусть, ессно, остаются.

А может тогда вообще его delete? я просто слышал что последняя строка где яндекс написано, помогает скорости индексации...иль не?

[4Biz]

А может тогда вообще его delete? я просто слышал что последняя строка где яндекс написано, помогает скорости индексации...иль не?

Карта сайта помогает и гуглу, и яндексу, это полезная фича.. если она там функционирует корректно - то лучше пусть она будет) хуже от неё не будет. А вот что такое пустой Disallow - это интересно) покуда может он у тебя как раз и распространился на строчку с сайтмэпом и получилось, что ты запретил всем ПСам весь сайтмэп)) правда это к шутке больше относится. Короче говоря, такие непонятные вещи - лучше сносить, если не уверен в том, что они сработают положительно.)

[тёма]

Карта сайта помогает и гуглу, и яндексу, это полезная фича.. если она там функционирует корректно - то лучше пусть она будет) хуже от неё не будет. А вот что такое пустой Disallow - это интересно) покуда может он у тебя как раз и распространился на строчку с сайтмэпом и получилось, что ты запретил всем ПСам весь сайтмэп)) правда это к шутке больше относится. Короче говоря, такие непонятные вещи - лучше сносить, если не уверен в том, что они сработают положительно.)

А можешь пожалуйста, прям показать какие строчки снести=)) я не шарю (краб)

[4Biz]

Убрать нужно строчку Disallow и желательно все пустые строки..

[тёма]

Гугл фиды, кстати, очень быстро индексирует..) очень.. у меня через секунд 30 попадали статьи блога в индекс, после размещения статьи на сайте Правда блог я теперь забросил, поэтому уже не слежу за скоростью индексацией.
Блог, кстати, вордпрессовский был.

А файла robots.txt не осталось от блога?
просто за 30 сек. статьи попадали в индекс, удивило...

[4Biz]

А файла robots.txt не осталось от блога?
просто за 30 сек. статьи попадали в индекс, удивило...

Осталось.. пустой robots.txt Там просто не в роботсе дело.. Там как-то пинговка настраивалась через RPC2 (это наверное загуглить надо, чтобы инструкции найти как это там настраивать, а так не помню уже). Было это уже года два-полтора назад. Может сейчас такого и вовсе не существует в природе, чтобы за минуту они были уже проиндексированными. Сайтов больше становится, нагрузки выше.. хотя и гугл на месте не стоит.

[4Biz]

Вот ссылка на тему пингов: http://www.wpdot.com...g-servisov.html

[Обществовед]

Спасибо, текст статей уникален пользуюсь адвего...
Всплывающий баннер убрать 30р\мес. только толку если блог пока не посещаем...
Хм, странно а когда же он начнёт индексировать сами статьи...хмм уже прошло очень много времени порядка месяца...

Не забывайте про "песочницу"!

— http://www.websate.ru/poiskoviki/sandbox.html

[тёма]

Да что же такое, убрал в robots.txt строку чтобы разрешить индексацию /feed а он всё равно, кидает их в "Заблокирован файлом robots.txt"

• И вообще почему он индексирует всякую "хрень", когда он будет наконец таки индексировать статьи??
• Статьи в которых присутствует видео, с уникальным контентом, тоже попадают в блок., почему?

Вот сам робот " http://discovery.jr1.ru/robots.txt " помогите, объясните, уже не знаю что и делать...
Статистика пока удручающая:
Отправленные URL 45
3 URL в интернет-индексе
Заблокировано файлом robots.txt 34
С яндексом вообще беда=)) последнее посещения робота блога 04.10.10...

[4Biz]

Ух блин, а зачем такой роботс? Может вообще на время убрать его пока? Пом так проблем куда меньше будет, чем с тем, что сейчас там)

[тёма]

Этот робот я взял из какого то сайта, там типо идеальный робот для вордпресса...

[4Biz]

Ничего себе идеальный) Может совсем без него потестить? А дальше уже и смотреть - в роботсе ли дело или нет.. (мне кажется, что да, но.. вдруг в хостинге)) )

[тёма]

Убрал робота, подожду денёк... а далее посмотрим на результат.