История о том, как я сменил главное зеркало

Всем привет! Сегодня подробный пост о том, как мне удалось сменить главное зеркало у блога и при этом не потерять позиции, трафик, доход от контекстной рекламы.

Как склеить домен

Долгое время меня мучил один вопрос — как избавиться от дурацкого www в URL, который тащился за мной более трех лет. Наверное возраст домена был главной причиной того, почему я не решался переклеить домен ранее.

Так сложилось, что с первых дней существования блога Яндекс начал индексировать блог именно с www, на тот момент мною было принято решение не препятствовать этому и смириться.

Позднее я себя не раз утешал, мол какая разница, главное что страницы находятся в поиске и приводят посетителей. Занимался продвижением, наращивал ссылочную массу. И чем больше времени проходило, тем больше у меня чесались руки сменить основное зеркало. В конце концов мое терпение лопнуло и ни смотря ни на что я все же решился. Сегодня я поделюсь своим опытом и расскажу как это было.

Правильный порядок действий при склейке зеркал

На протяжении всего времени я вел заметки на листах бумаги, которые постоянно носил с собой и записывал все значимые события в хронологическом порядке. Итак, начало сентября, я ставлю перед собой цель сменить главное зеркало домена и убрать www из адреса.

6.09.2013 Обращаюсь в службу поддержки Яндекс.Вебмастер с письмом, в котором описываю ситуацию и прошу дать советы. Я задал вопросы о том как правильно переклеить домен и чтобы при этом страницы не выпали из индекса. Так как мой блог размещен в Яндекс Каталоге, то посчитал не лишним обратиться в его поддержку и поинтересовался как отразится смена главного зеркала на присутствие в каталоге. Вскоре получил ответ:

«В данном случае Вам необходимо сменить главное зеркало с помощью директивы Host, дождаться завершения процесса переклейки, затем адрес в Каталоге изменится автоматически. ТИЦ также будет перенесен на адрес нового главного зеркала и восстановлен по этому адресу после ближайшего к переклейке пересчета тИЦ.»

9.09.2013 Получил ответ от Платона Щукина на первое письмо:

«Редирект для смены главного зеркала использовать не стоит. В настоящее время указанные Вами сайты объединены в группу зеркал, в которой главным зеркалом является домен с www согласно текущим указаниям. В поисковой системе Яндекс индексируются и участвуют в поиске только страницы главного зеркала. Поскольку сейчас у Вас установлен редирект с webliberty.ru на www.webliberty.ru, то для начала его нужно снять. Оставить редирект в существующем виде и указать в качестве главного зеркала домен без www не получится, так как тогда заданные Вами указания на главное зеркало будут противоречить друг другу. Если просто поменять направление редиректа, то это в конечном итоге приведет к смене главного зеркала, но в этом случае следует понимать, что робот не будет индексировать страницы текущего главного зеркала, а будет переходить по редиректу. В свою очередь, цель редиректа также не будет индексироваться, поскольку является неглавным зеркалом, которое в поиске не участвует.

Поэтому, если Вы хотите, чтобы до переклейки зеркал Ваш сайт мог индексироваться по адресу текущего главного зеркала, установленный редирект следует снять. Для смены главного зеркала лучше использовать директиву Host в файлах robots.txt всех зеркал, а также выбрать нужный домен в соответствующем разделе Яндекс.Вебмастера. Этого будет вполне достаточно, при этом Вы избежите проблем с индексированием сайта из-за перенаправления на неглавное зеркало.

Таким образом, самый оптимальный способ избавиться от префикса www — убрать редирект, сменить главное зеркало с помощью директивы Host и в Яндекс.Вебмастере, а затем, когда главное зеркало изменится, вернуть редирект при необходимости. Что касается Яндекс.Каталога и Яндекс.Метрики, то данные в них обновятся автоматически, заново ничего добавлять не придется. Обратите внимание, процесс склейки зеркал происходит автоматически и может занимать несколько недель, ускорить его, к сожалению, нельзя.»

Очень подробный ответ, за что огромное спасибо поддержке Яндекса! Буквально сразу же приступил вносить изменения:

  • Сменил главное зеркало в панели Яндекс.Вебмастер, указав адрес без www;
  • Изменил директиву Host в файле robots.txt для Яндекса;
  • Изменил основной домен в панели для веб-мастеров Google;
  • Убрал редирект из файла .htaccess;
  • Добавил новые карты сайта в панели вебмастеров Гугла и Яндекса;
  • Исправил ссылки в основном меню и в сайдбаре, чтобы поисковые боты как можно раньше заметили изменения.

Скриншот из панели Яндекс.Вебмастер. В разделе Настройка индексирования есть пункт Главное зеркало — здесь нужно указать предпочтительный домен:

Главное зеркало в Яндексе

Скриншот из панели инструментов для веб-мастеров Гугла. Настройки сайта скрываются под шестеренкой. Здесь необходимо указать основной домен:

Основной домен в Google

Процесс запущен! Попутно записал для истории основные показатели блога:

  • ТИЦ 130 (последний апдейт 02.07.13)
  • PR 2 (последний апдейт 04.02.13)
  • Проиндексированных страниц в Google (по данным RDS Bar) — 187
  • Проиндексированных страниц в Яндексе — 241

10.09.2013 Вчера я несомненно проверял ответ сервера обоих зеркал и он содержал код 200, как посоветовал сделать Платон Щукин. Но сегодня утром, придя на работу, решил вновь проверить что все в порядке и был удивлен. Видимо на домашнем компьютере ответ сервера был закэширован, а сейчас выдает 301 код при обращении к старому адресу с www. Как оказалось, у WordPress заложен собственный редирект, учитывающий настройки адреса сайта в админке.

Нужно было срочно найти решение как отключить это перенаправление. На помощь пришел один из зарубежных форумов, на котором было найдено решение, путем добавления в файл wp-config.php следующих строк:

1
2
define('WP_HOME', 'http://' . $_SERVER['HTTP_HOST']);
define('WP_SITEURL', 'http://' . $_SERVER['HTTP_HOST']);

Дополню пару слов зачем нужно убирать редирект. Причина в том, что Яндекс должен иметь доступ к обоим зеркалам. Если с одного зеркала стоит перенаправление на другое, то как в таком случае робот зеркальщик определить что сайты идентичны друг другу? Вот-вот…

Это основная ошибка вебмастеров, в результате которой в процессе переклейки сайт полностью выпадает из индекса и продолжительное время не участвует в поиске. А цель редиректа он не индексирует по причине того, что в выдаче отечественного поисковика может находиться только главное зеркало, а переклейка еще не произошла. Замкнутый круг.

Поэтому чтобы избежать подобной участи запомните: никогда не ставьте редирект на новое зеркало и снимите существующий до полной склейки/переклейки зеркал в Яндексе, о чем будете уведомлены сообщением!

Далее приступил править все свои ссылки на главную страницу, встречающиеся в записях и комментариях. Сначала было дело решил все сделать вручную, но понял что не справиться с таким объемом. Рискнул и воспользовался SQL запросом к базе данных:

1
2
UPDATE wp_comments
SET comment_author_url = REPLACE( comment_author_url, 'www.webliberty.ru', 'webliberty.ru' )

13.09.2013 Апдейт Яндекс выдачи. Никаких подвижек по зеркалам не наблюдается. В Гугле тоже тишина, хотя много раз перечитывал на форумах, что он реагирует на изменения практически мгновенно и буквально на следующий день можно обнаружить в поиске новые адреса. Продолжаю томительное ожидание.

19.09.2013 Очередной апдейт Яндекса — все без изменений. Убеждаюсь в том что правильно сделал, убрав редирект. Иначе страницы давно бы уже выпали из поиска, а вместе с ними бы и трафик серьезно просел и доход скатился до нуля.

20.09.2013 В Google Webmasters Tools начала появляться информация о внутренних и внешних ссылках по новому домену, ранее данные были недоступны.

26.09.2013 И снова апдейт выдачи. В индексе Яндекса несколько дублирующихся страниц с www и без. Этот же день принес АП ТИЦ, который прибавил десятку, стало 140. В Яндекс Каталоге домен переклеился на новый основной — наконец-то начались подвижки.

Склейка в Яндекс каталоге

27.09.2013 Сервис xseo.in, с помощью которого все это время следил за склейкой домена, впервые показал главное зеркало webliberty.ru уже без префикса. Вечером того же дня другой сервис cy-pr.com также подтвердил склейку.

1.10.2013 Яндекс сделал отличный подарок на мой день рождения в виде апдейта поисковой базы, а также сменил главное зеркало, ура! Ровно в 8 утра пришло письмо от Яндекс.Вебмастера, точнее писем было два:

  1. Изменилось главное зеркало. В письме было сообщено о том, что www.webliberty.ru был признан неглавным зеркалом сайта webliberty.ru и поэтому в списке сайтов он был автоматически заменен.
  2. Права на сайт успешно подтверждены. Здесь все просто, раз сменилось главное зеркало, то изменился и адрес сайта. А так как файл подтверждения уже находился на сервере, то никаких дополнительных действий с моей стороны не потребовалось.

2.10.2013 Google не спешит менять основной домен, его инструмент в панели вебмастеров похоже не столь эффективен или он меня недолюбливает… Впрочем, у нас эти чувства взаимны. Ставлю 301 редирект в .htaccess, а в файле wp-config.php удаляю ранее добавленные строчки. По Яндексу зеркала переклеились, поэтому уже не страшно за индексацию, а Гугл нормально относится к 301 редиректу.

7.10.2013 Да неужели? Xseo.in показывает склейку по Гуглу. Хотя в его выдаче примерно 50/50 страниц в www и без него, многие страницы продублированы. Судя по графикам сканирования Googlebot активно шерстит блог. По серверным логам видно, что сначала робот загружает страницу по старому адресу, получая 301 ответ, а затем подхватывает цель редиректа с кодом 200.

Статистика сканирования сайта

Посещаемость блога упала на 50%, вот и приехали, случилось то, чего так сильно опасался. Хотя она и снижалась с первых дней моего эксперимента, но происходило это плавно, а в этот день наблюдал резкий спад. Надеясь на лучшее, продолжаю ожидать и следить за процессом, говорят, время лечит.

9.10.2013 Правду говорят люди, время действительно творит чудеса! В этот день произошло очередное обновление поисковой базы Яндекса. Все возвращается на круги своя, наблюдаю рост трафика примерно на 30%. Как ни странно, но спустя месяц Гугл по-прежнему не может разродиться и окончательно сменить основной домен. Не ожидал от него такого.

Посещаемость сайта в период склейки доменов

12.10.2013 Хм… День рождения блога, однако! Спустя месяц впервые публикую новую запись (до этого ничего не публиковал в ожидании склейки) и о чудо! К вечеру из выдачи Гугла пропали все страницы, содержащие префикс.

Ну вот, я наконец-то собрался и полностью изложил свою историю со всеми подробностями. На сегодняшний день могу с уверенностью сказать, что смена главного зеркала проведена успешно, результатом я очень доволен. Надеюсь мой опыт поможет многим из Вас! 🙂

  1. Юлия

    Привет Денис. Спасибо за интересную статью. Только вот сайдбар куда-то съехал, именно в этой статье, надеюсь, это не результат склейки доменов 😀 Может быть это нечистая сила, ведь сегодня Хэллоуин. Всех с праздником!

    Ответить

  2. Александр Майер

    Познавательно. Хорошо, что я уже давно не юзаю www, иначе тоже пришлось бы переклеивать. А заглавная картинка очень улыбнула 🙂

    Юлия, вроде сайдбар не съехал никуда, все в порядке

    Ответить

  3. Webliberty

    Юлия, привет! Никаких изменений не делал, так что почему съехало не знаю даже…

    Александр, да вот такая ситуация приключилась со мной, сначала вообще не обращал внимания, потом как-то надоедать стало, а когда совсем невтерпеж стало — решился переклеить.

    Ответить

  4. Андрей

    Я указывал в robots.txt в хост дериктории имя нужное, а потом редиректом в файле htaccess.

    Ответить

  5. Сергей

    Как же хорошо, что я сразу указал главное зеркало без www. Зато я сделал древовидные комментарии сначала и теперь вот приходится бороться с replytocom, яндекс победил а вот гугл это что-то.

    Ответить

  6. Webliberty

    Андрей, главное соблюсти последовательность действий) Если сразу поставить редирект — страницы по старому адресу выпадут из индекса, а новый домен еще долго будет не проиндексирован. А это потери. И дело даже не в заработке, а в переживаниях, нервную систему нужно беречь. Я весы по знаку зодиака, поэтому для меня главное — покой и душевное равновесие 🙂

    Сергей, да, это хорошо) Не знаю зачем он сейчас вообще нужен, какая-то древность. На днях на Хабре проскакивала новость, что в будущем планируется ввести протокол HTTP 2.0 и он будет зашифрованным, т.е. https. Как бы нам опять не пришлось все переделывать на новый лад) Replytocom — это нечто, тоже намучился с этим в свое время.

    Ответить

  7. Александр x3m

    А в чем дурость www? По мне так наоборот прикольно! Особенно когда диктуешь кому нибудь адрес своего сайта — Так записывай… 3 дабл "ю"… 🙂

    Ответить

  8. Webliberty

    Да ну, зачем голову забивать лишним. Особенно странно наблюдать, когда народ упорно набирает в адресной строке это www вручную. Как-то раз подходил на работе к девушке, так она писала адрес полностью, вместе с протоколом http и так далее 😀 Для визитки конечно можно использовать, но на самом сайте ни к чему мне кажется.

    Ответить

  9. Александр x3m

    Webliberty, какая она умница 😀

    Ответить

  10. Алех

    Ого сколько всего нужно было сделать, хорошо что у меня главное зеркало без www

    Ответить

  11. Андрей Сосевич

    Еще одна интересная полезность, благодарю!

    Ответить

  12. Webliberty

    Немного дополню свой пост. 31 октября, через пару часов после публикации этой записи, у блога обнулился PR. Вернее он стал не определен — большинство сервисов по проверке показателей стали его отображать как n/a. Это событие можно считать днем, когда в Google произошла окончательная склейка домена.

    Как правило при использовании 301 редиректа показатели передаются на новый адрес при очередном апдейте. И вот сегодня, 6 декабря 2013 года происходит апдейт PR, двоечка вернулась на свое место спустя месяц. В целом я очень рад, что решился наконец-таки сменить основной домен.

    Ответить

  13. Николай

    Добрый день! Скажите пожалуйста а как Вы «Добавил новые карты сайта в панели вебмастеров Гугла и Яндекса» при смене главного зеркала? Мой блог на wordpress и там за это отвечает плагин Google XML Sitemaps. Но в нем я так и не разобрался как это сделать. Поделитесь пожалуйста опытом.

    Ответить

  14. Webliberty

    Николай, здравствуйте! Это делается не плагином, а на страницах инструментов для вебмастеров поисковых систем:

    Естественно, сначала нужно добавить сайт в эти панели инструментов, если Вы еще не сделали этого ранее.

    Ответить

  15. Николай

    У меня история получилась такая. Я вчера изменил главное зеркало в Google и Яндексе, а сегодня уже в панели вебмастера Google появился еще один мой сайт (вернее тот же, только он странным образом продублировался) только уже с превиксом www (я, в отличии о Вас, наоборот, решил его добавить). Вероятно один из них должен пропасть со временем, иначе я не понимаю смысла нахождения их обоих там.

    Так вот, Вы в настройках своего нового имени сайта (без префикса www) просто указывали старые карты сайта? Например, был www.site.ru и карты sitemap.xml и sitemap.xml.gz. При смене главного зеркала Вы указали эти же карты в панели вебмастера Google и Яндекс?

    Мне, к примеру, Платон Щукин сказал, что ничего больше, кроме манипуляций с robots.txt и изменения главного зеркала в панели вебмастера делать не нужно. Яндекс сам все перенастроит. А у Вас увидел, что Вы еще и карты изменили.

    Ответить

  16. Webliberty

    Николай, я понял вопрос. В панели Гугла оба сайта подтверждены, поэтому и появились в GWT. В настройках обоих укажите основной домен, сохраните и лишний можно удалить. Правда зачем Вам добавлять www — не ясно, все стараются наоборот избавиться от него 💡

    Карты сайта я добавлял новые, уже без префикса. В принципе, Платон ответил правильно с точки зрения ПС Яндекс. Можете не обращать на это особого внимания, я просто старался как можно скорее провернуть это дело со сменой и любыми способами намекнуть поисковикам, что пора бы уже им посмотреть на мой блог с другой стороны)))

    Ответить

  17. Николай

    «Карты сайта я добавлял новые, уже без префикса.»
    А как Вы сделали новые? Мне вот, что нужно знать. Я сообразить не могу, как их сделать. Помогите разобраться.

    Ответить

  18. Webliberty

    Николай, в параметрах плагина Google XML Sitemaps есть настройка «Расположение Вашего файла с картой сайта» в ней следует выбрать «Пользовательское расположение» и в строке URL к файлу указать путь к файлу с новым адресом сайта.

    Ответить

  19. Роман

    Спасибо за полезную информацию, давно хотел убрать www, благодаря вашему блогу все получилось.
    Хотелось узнать ваше мнение, по поводу url, слышал, что поисковики любят когда адрес заканчивается .html, что вы по этому поводу думаете?

    Ответить

  20. Webliberty

    Роман, насчет любят или нет точно не знаю, думаю что все равно. На конце URL .html обычно дает понять ПС что страница статическая, однако это псевдостатика, т.к. CMS формирует страницы на лету из различных компонентов, подгружая базу данных. Я бы не стал использовать такую возможность и искусственно без надобности увеличивать число символов в урле.

    Что-то менять на готовом сайте с большим числом проиндексированных страниц нужно в исключительных случаях. Работает — значит не трогай. Но иногда все же руки чешутся 😀

    Ответить

  21. Илья

    Здравствуйте! Огромное спасибо за интересную статью! Сейчас пробую сделать с www на без.. Но не совсем все понял, и возникло пару вопросов:

    1. После установки нового главного зеркала, в файле wp-config.php если удалить добавленные строчки, то разве редирект автоматически не вернется? Я просто где-то читал что Вордпресс автоматом выдает редирект. Если в настройках Вордпресса, стоит домен без www, то будет на него редирект с www. Я просто не силен в этом всем. Но как-то боязно будет добавлять в .htaccess какие-то указания. Вдруг это уже лишнее?

    2. Если все-таки таки нужно добавлять, то после каких строчек нужно добавить

    1
    
    RewriteEngine On

    С учетом того, что у меня уже есть одна из этих трех строчек там:

    1
    
    RewriteEngine On

    Спасибо если подскажете!

    Ответить

  22. Webliberty

    Здравствуйте! Отвечу на Ваши вопросы:

    1. В wp-config.php необходимо добавить эти строки только временно — лишь для того, чтобы в период переиндексации поисковый робот Яндекса имел доступ к обеим версиям сайта. После того как склейка произойдет и Яндекс в вебмастере укажет что используется новое главное зеркало — строки можно удалять. В таком случае WordPress будет автоматически перенаправлять на ту версию, которая указана в настройках админки. Поэтому в консоли WP после склейки укажите новый адрес.

    2. Редирект через .htaccess на новый домен можно добавить после окончательной переклейки, так сказать для закрепления результата. Мне встречались сайты, на которых установлен WP, но доступ имеется к обоим версиям, как с www так и без. Используя это правило мы гарантированно исключаем такую ошибку.

    Вставлять эти строки можно в любое место, хоть в самое начало, хоть в конце. Наличие директивы RewriteEngine On не повредит, хотя если планируете вставлять код после существующей такой строки, то в данном случае ее можно не использовать.

    Ответить

  23. Дмитрий

    Спасибо автору за такой объемный обзор! Но я немного растерялся и появились вопросы. Делал все (основные моменты) по вашей инструкции месяц назад, но изменений никаких не произошло.

    Что делал: в Яндекс и Гугл вебмастер задал основное зеркало без www. В robots.txt в Hosts задал имя сайта без www и в файле wp-config.php в самый конец вписал эти строки и www исчезло:

    1
    2
    
    define('WP_HOME', 'http://' . $_SERVER['HTTP_HOST']);
    define('WP_SITEURL', 'http://' . $_SERVER['HTTP_HOST']);

    Но наверное зря, изменений никаких за месяц не произошло, при удалении этих строчек www сразу появляется. Повторил выше перечисленное по новой и удалил эти строчки из wp-config.php. Что я не правильно сделал?

    Ответить

  24. Webliberty

    Дмитрий, в последнее время Яндекс реже проводит склейку зеркал, основная ошибка которую Вы допустили — не дождались ожидаемого результата и вернули все назад. Единственно правильным решением было дождаться склейки в Яндексе и затем поставить 301 редирект.

    Такие рывки от одного варианта к другому и обратно ничего хорошего не сулят, в следующий раз наберитесь терпения 😉

    Ответить

  25. Светлана

    Моему сайту еще 4 месяца и тоже решила убрать www. Все сделала согласно вашей инструкции, теперь остается ждать. Вопросы:

    1. Получается теперь ничего не нужно делать до тех пор, пока Яндекс не сообщит о новом зеркале. Только после этого убрать 2 строки из wp-config.php и добавить редирект. Я правильно понимаю? (Просто для меня, как новичка, это большой объем информации, пытаюсь все усвоить 😉
    2. С имеющейся ссылочной массой (скудной, но все же!) тоже ничего не будет происходить все это время?
    3. Почему вы целый месяц не добавляли статьи, пока шла склейка? Это может чем-то навредить или замедлить процесс? Просто мой сайт и так ПС пока еще не особо любят в силу возраста, поэтому статьи добавляю каждый день почти. Так если я про статьи на месяц забуду, то вообще улечу далеко по позициям.
    4. Ссылки можно проставлять на свой сайт с форумов все это время? Если да, то теперь уже на адрес без WWW?

    Ответить

  26. Webliberty

    Светлана, Вы приняли правильное решение, лучше как можно раньше этим заниматься, тогда и склейка пройдет менее болезненно.

    1. Все верно. Яндекс в этот период должен получить доступ к страницам по обоим адресам, чтобы сравнить их содержимое и на основании данных о HOST правильно определить главное зеркало.
    2. На время переезда с ней ничего не произойдет, после того как поставите редирект статический вес перетечет на новые адреса.
    3. Это был своего рода эксперимент, хотелось исключить влияние некоторых факторов. Однако добавлять новые статьи все же желательно после установки редиректа — так мы исключим возможность дублирования по двум адресам. Чтобы далеко не улететь в это время можно заняться внешними факторами.
    4. Да, новые ссылки должна вести на новые URL. При возможности можно и старые изменить, если к ним есть доступ.

    Ответить

  27. Влад

    Склеил зеркала сайта. Но вот вопрос: у меня продолжают поступать внешние ссылки на зеркало основного сайта. Стоит ли мне применять какие-то действия сейчас, или линки поступившие на зеркало домена уже после склейки, все равно будут передавать ссылочный вес?

    Ответить

  28. Webliberty

    Влад, все ссылки, ведущие зеркало сайта, будут передавать вес на основной домен в течение всего времени, пока настроен редирект.

    Если зеркалом признан другой домен, то нужно продлевать срок его регистрации для сохранения ссылочной массы.

    Ответить

Ваш комментарий:

:) ;) :D :( :cry: :| :o :P 8-) :oops: :roll: :idea:

Отправляя комментарий, Вы соглашаетесь с Политикой конфиденциальности.