Биржа копирайтинга Антиплагиат SEO-анализ текста Адвего Лингвист Проверка орфографии
Адвего
Форум
Все форумы
Разное
Маркетинг, продвижение, реклама, SEO, веб-разработка

Маркетинг, продвижение, реклама, SEO, веб-разработка — Форум Адвего

боковая панель
Разное / Маркетинг, продвижение, реклама, SEO, веб-разработка
Illaya79
Подскажите, плиз, как закрыть страницы-дубли в файле robots.txt

На сайте стали появляться дубли страниц, выглядят вот так: [ссылки видны только авторизованным пользователям] Архив дня, так сказать) Закрыла в роботс таким образом: Disallow: /2015/
А нифига оно не закрывает, все равно гугл видит эти страницы как дубли. Плохо разбираюсь в роботс, обычно просто копирую у кого-нить или нахожу в интернете примерное содержание.. Помогите советом, как мне правильно закрыть эти архивы, чтобы полностью вся папка 2015 и ее содержимое не индексировалось.
А если кто доходчиво расскажет, как именно, какими символами закрывать такие дубли - буду премного благодарна. В интернете много информации, но вся такая разная, не знаешь чему верить..

Тема закрыта
Написала: Illaya79 , 19.03.2015 в 19:07
Комментариев: 20
Комментарии
DELETED
За  0  /  Против  2
DELETED  написал  19.03.2015 в 19:53
Вам лень искать, а мы должны? Нехорошо.

                
Illaya79
За  0  /  Против  0
Illaya79  написала  19.03.2015 в 20:00  в ответ на #1
Нет, мне не лень. Я закрыла так, как поняла из советов в интернете. Но что-то не сильно работает) Вот и спрашиваю совета у вебмастеров Адвежки

                
Евгений (advego)
За  0  /  Против  0
Евгений (advego)  написал  19.03.2015 в 20:02
Если CMS - Wordpress, то удобнее установить плагин All In One SEO Pack, в настройках которого будут три волшебных галочки: [ссылки видны только авторизованным пользователям] - и дублей больше не будет. В примере закрыты от индексации не только архивы, но и рубрики со страницами тегов, вам это, возможно, не нужно.

Учтите, что из индекса дубли пропадают не сразу, а по прошествии нескольких недель, а иногда и месяцев.

Плагин: [ссылки видны только авторизованным пользователям] - его плюс еще и в очень гибкой настройке мета-тегов - можно прописать отдельно для каждой страницы + настроить собственные заголовки, чтобы красиво выводились в поиске.

                
Illaya79
За  0  /  Против  0
Illaya79  написала  19.03.2015 в 20:17  в ответ на #3
Здравствуйте, CMS действительно Wordpress, но я купила платную хорошую тему, оптимизированную и настроенную. Есть блоки сео для заполнения, страницы дублей тоже закрыты изначально. Поэтому не охота ставить лишний плагин, чтобы не нагружать итак медленно работающий сайт.

                
Illaya79
За  0  /  Против  0
Illaya79  написала  19.03.2015 в 20:19  в ответ на #3
А за то, что дубли могут долго выпадать из индекса я не подумала. Видимо, причина именно в этом

                
DELETED
За  0  /  Против  0
DELETED  написал  19.03.2015 в 20:40
Сайт можете показать?

                
Illaya79
За  0  /  Против  0
Illaya79  написала  19.03.2015 в 20:42  в ответ на #6

                
DELETED
За  1  /  Против  0
DELETED  написал  19.03.2015 в 21:12  в ответ на #7
[ссылки видны только авторизованным пользователям]
[ссылки видны только авторизованным пользователям]

Тоже надо закрыть:
Disallow: */?pg=
Disallow: /tag/

И не правильная структура (как всегда в любом шаблоне wp)
[ссылки видны только авторизованным пользователям] - есть страница
[ссылки видны только авторизованным пользователям] - нет страницы

Лучше вам плагин поставить NoCategory Base - он уберет этот лишний кусок урла и будет у вас [ссылки видны только авторизованным пользователям]

А вместо Алл Ин Сео Пак поставьте Platinum SEO, настройки импортируются и в нем есть галочка делать 301 редиректы. Т.е. все пройдет без болезненно для сайта.
А /2015/ я не нашел, просто если это архив по годам, то должен быть и 2014 и скоро появится 2016....

                
Illaya79
За  0  /  Против  0
Illaya79  написала  19.03.2015 в 21:20  в ответ на #9
Спасибо за подсказки, все исправлю и поставлю плагины. А страница архивов есть, и действительно, проверила, есть и 2014 год(. Открываются архивы у меня по ссылке [ссылки видны только авторизованным пользователям] Так, как я его закрыла, Disallow: /2015/ эти архивы 2015 года должны выпасть из индекса? Огромное спасибо за помощь!

                
DELETED
За  1  /  Против  0
DELETED  написал  19.03.2015 в 21:53  в ответ на #10
Раз закрыли, то выпадут со временем. Но нужно на всякий случай и 2014 и 2016 закрыть

                
Евгений (advego)
За  0  /  Против  0
Евгений (advego)  написал  19.03.2015 в 22:34  в ответ на #9
"И не правильная структура (как всегда в любом шаблоне wp)
[ссылки видны только авторизованным пользователям] - есть страница
[ссылки видны только авторизованным пользователям] - нет страницы"

Ничего страшного в такой структуре нет, по второй ссылке никто никогда не заходит, потому что ее не существует на страницах.

Ставить еще один плагин, только для того, чтобы убрать никому не мешающую проставку в урле - не самая полезная фича.

Platinum SEO ничем не отличается от All in One SEO, кроме как наличием опции 301 редиректов ну и еще возможностью оптимизации рубрик, наверное, но странно, зачем вы советуете править robots.txt после установки Platinum SEO, если в нем так же присутствует опция "noindex for Data based Archives" и "Use noindex for Tag Archives" - они уже будут закрыты, в robots дублировать нет смысла.

                
Larisa-s
За  0  /  Против  0
Larisa-s  написала  20.03.2015 в 00:36  в ответ на #12
Евгений, а если со второй ссылки редирект поставить?

                
Евгений (advego)
За  1  /  Против  0
Евгений (advego)  написал  20.03.2015 в 01:39  в ответ на #14
Не нужно с нее ничего ставить, ее как таковой не существует в явном виде, как не существуует страниц [ссылки видны только авторизованным пользователям] или [ссылки видны только авторизованным пользователям] - так можно написать что угодно руками, но на сайте они нигде не генерируются, а раз их нет, то и редиректить их не нужно никуда. Просто кому-то не нравится, что в URL страницы присутствует слово category, но по факту это не имеет ровно никакого значения. Если же в проиндексированном сайте убрать category в урле, то да, редиректы будут нужны - решается еще одним вышеназванным плагином, но придется ждать переиндексации. И все ради чего, спрашивается?

Я порекомендовал SEO-плагин, потому что он решает сразу обе задачи - закрывает от индексации нужные типы страниц и позволяет оптимизировать остальные. Ставить же плагин, для того, чтобы в урле там что-то убрать, считаю бессмысленным - это ничего не даст для сайта. Когда нужно сделать ЧПУ или кириллицу в латиницу перевести - да, лучше поставить плагин, который за секунду все сделает красивым.

                
DELETED
За  0  /  Против  0
DELETED  написала  19.03.2015 в 21:02
Один из блоггеров объяснял это действием плагина Google XML Sitemaps. Если сделать карту сайта All In One SEO Pack, то все исправится.

                
Larisa-s
За  0  /  Против  0
Larisa-s  написала  20.03.2015 в 00:29
В роботс закрыли, а Гугл плевать на это хотел. У него свои алгоритмы. Читаем: [ссылки видны только авторизованным пользователям]

                
Евгений (advego)
За  0  /  Против  0
Евгений (advego)  написал  20.03.2015 в 01:48  в ответ на #13
robots.txt - это все же рекомендация, поэтому да, могут игнорировать и часто это делают.

                
Illaya79
За  0  /  Против  0
Illaya79  написала  20.03.2015 в 11:54  в ответ на #16
Не знала о том, что гугл может нагло игнорировать содержимое файла роботс. Приму совет к вниманию, поставлю таки All In One SEO Pack,попробую таким образом избавиться от дублей. Спасибо за помощь, выводы сделала, просьба закрыть тему.

                
Евгений (advego)
За  0  /  Против  0
Евгений (advego)  написал  20.03.2015 в 12:13  в ответ на #18
Или Platinum SEO, который выше назвали - тоже вам подойдет.

                
Illaya79
За  0  /  Против  0
Illaya79  написала  20.03.2015 в 11:53  в ответ на #13
Спасибо, прочитала, немного шокирована

                
Евгений (advego)
За  0  /  Против  0
Евгений (advego)  написал  20.03.2015 в 12:13
Тема закрыта.

                
Отправка жалобы...
Спасибо, ваша жалоба принята
Вы уже жаловались
Публикация комментариев и создание новых тем на форуме Адвего для текущего аккаунта ограничено.
Подробная информация и связь с администрацией: https://advego.com/v2/support/ban/forum/1186
Жаловаться можно только на чужой комментарий
Избранное
Добавить в избранное
Имя
URL
https://advego.com/blog/read/seo/2177242/