Как добавить и проиндексировать сайт в поисковых системах
Каждый день в сети интернет появляются тысячи новых сайтов. Не мудрено, что иногда поисковые системы плохо справляются с индексацией новых страниц. Как исправить ситуацию? Правильно, нужно сообщить о новом сайте, проще говоря: добавить сайт в поисковики.
Вообще, поисковики узнают о новых сайтах переходя по ссылкам с других ресурсов. Если на сайт не ведёт ни единой ссылки, то маловероятно, что он появится в выдаче.
Начну с того, что поисковые системы находят новые веб-страницы с помощью своих роботов (поисковых ботов), которые ходят по ссылкам и если находят что-то новое, то добавляют в очередь на индексацию.
Крупнейшие поисковые системы предлагают вебмастерам специальные формы добавления новых сайтов или отдельных страниц, эти формы ещё называют аддурилками (от словосочетания Add URL). Ниже я приведу список наиболее популярных ПС, которые имеют такую возможность и опубликую ссылки на формы.
Яндекс — самая популярная поисковая система в рунете, с неё я и начну. Именно под Яндекс большинство вебмастеров оптимизируют свои сайты и регулярно следят за индексом качества сайта после отмены ТИЦ и закрытия каталога.
Отправить URL на индексацию в Яндекс могут только зарегистрированные пользователи сервиса Яндекс Вебмастер с помощью инструмента Переобход страниц — он расположен в разделе Индексирование:
https://webmaster.yandex.ru/sites/add/
Google также является поисковиком №1, но уже не в России, а во всём мире! Приобрёл наибольшую популярность в западных странах, а в рунете занимает почётное второе место среди пользователей.
С недавних пор Google закрыл инструмент Submit URL и единственной возможностью отправить новую страницу на индексирование осталось воспользоваться функцией Просмотреть как Googlebot в разделе Сканирование:
Укажите адрес страницы или оставьте поле URL пустым, чтобы получить содержание главной страницы, затем нажмите кнопку Запросить индексирование. Повторное сканирование произойдёт в течение нескольких минут после нажатия кнопки Отправить. Перед этим потребуется пройти проверку reCAPTCHA и выбрать способ сканирования:
- Сканировать только этот URL
- Сканировать этот URL и прямые ссылки
https://www.google.com/webmasters/tools/
Корпорация Microsoft также продвигает свою поисковую систему Bing, которая известна по всему миру, но наибольшую признательность получила в США.
Начиная с 18 сентября 2018 года Bing закрыл доступ к анонимному инструменту отправления URL на индексацию. Поэтому, к сожалению, нет возможности указать прямую ссылку на страницу.
Вебмастер по-прежнему сможет войти в Bing Webmaster Tools и получить доступ к инструменту «Отправить URL-адреса» и это проще, чем когда-либо, поскольку теперь сервис поддерживает аутентификацию с помощью учётной записи Google и Facebook в дополнение к существующим учетным записям Microsoft.
Далее переходим к Mail.ru. До недавних пор ему принадлежал мало кому известный поисковик GoGo, начиная с 2012 года портал перешёл на свой поисковый алгоритм.
Нет возможности отправить отдельную страницу на индексирование, тем не менее можно проиндексировать полностью весь сайт заново, но не чаще, чем раз в 7 дней для каждого из ваших доменов. Нажмите кнопку Переиндексация в разделе Сканирование:
https://webmaster.mail.ru/
Следующий на очереди самый «старый» поисковик рунета Rambler. В настоящее время он переориентировался на медийное направление и больше не предоставляет собственные услуги поиска, аддурилка Рамблера не работает с тех пор как он перешёл на выдачу Яндекса. Поэтому чтобы добавить сайт в Рамблер достаточно сообщить о новом сайте Яндексу.
На очереди молодой поисковик Nigma — отличается своей оригинальностью, аудитория пользователей состоит из школьников и студентов. Почему ограниченная аудитория? Да потому что Nigma — проект одного из факультетов МГУ, вероятно большинство пользователей как раз и являются его студентами 😎 В конце 2017 года сайт перестал открываться, что с ним стало — не известно.
Спутник — это новая поисковая система, доступная только на территории России, порталом владеет дочерняя структура Ростелекома, который вливал инвестиции в его развитие. Добавить сайт в Спутник можно было на специальной странице, но со временем она перестала работать, возвращая 404 ошибку. При обращении в службу поддержки на свой вопрос: «По каким причинам форма не работает и появится ли в будущем?» — я не получил ответа.
Ну и наконец, Yahoo! — пик популярности приходился на начало 2000-х годов, на то время самый посещаемый сайт в интернете, по данным статистики. К сожалению, Yahoo Site Explorer прекратил своё существование и все данные перенесены в Bing.
Добавить сайт в поисковики легко и просто! Именно этим поисковым системам стоит уделить особое внимание, добавляйте свои сайты и следите за индексацией. Напоминаю, полезными инструментами для вебмастеров обладают Яндекс, Google, Bing и Mail.ru. До скорых встреч!
Есть еще такой поисковик, как mail.ru. Определенную часть посетителей он также приносит.
Ответить
Петр, да есть, но он использует поисковую базу Google и не имеет формы добавления сайта на индексацию. Его собственная разработка — это поисковик GoGo.ru, который как раз и упомянут мною в посте.
Ответить
Вы действительно забыли о mail-по моему это поисковик,который находится в первой пятерки, а также Ask, кажется, поисковик от Firefox.
Ответить
Михаил Алексеевич, цель данного поста — рассказать не о существующих поисковых системах, а о тех, которые имеют формы для добавления сайтов на индексацию. Если Вы дадите такую ссылку для mail.ru, то я его с радостью добавлю 😉
Про поиск майла я знаю, но если читали предыдущий комментарий то все прояснится)
Ask… у меня ни разу не было с него переходов, вряд ли он ориентирован на русскоговорящего пользователя и о его целесообразности стоит еще подумать. Ведь этим списком все не ограничивается и их очень много.
Ответить
Спасибо! Информация для меня полезная. Обязательно воспользуюсь ссылками.
Ответить
Василий, пользуйтесь на здоровье, так сказать во благо блога)
Ответить
Совершенно правильно, что для русскоязычных ресурсов есть свои особенности, и не все поиковики нужно окучить сразу. Здесь достаточный список чтобы начать первые этапы. А дальше, как и везде в Бизнесе, Головой придется думать.
Ответить
Igor-Getmann, спасибо за поддержку 🙂 Еще кстати многие поисковики не имеют собственной базы, а пользуются другими, выступая в роли посредника, та же история с майлом и гуглом — как пример.
Ответить
Да — поэтому важней регаться в основные, а мелочь подплывет позже, или с опытом «подтянуть» можно и её. Новых интересных статей и настроения в работе! 😉
Ответить
Еще бы в эту статью включить малоизвестные поисковые системы. Многие их не знают, а вы бы просветили народ.
Ответить
Василий, не вижу в этом большого смысла. Между прочим не все малые поисковики имеют такую форму добавления. Главное ориентироваться на ведущие системы, которые приносят ощутимый трафик. Взять тот же Байду (Baidu) — одна из крупнейших ПС, входит в топ-3 систем мира по числу обработанных запросов, есть аддурилка, но ощутимой пользы от нее для сайтов рунета нет.
Ответить
Не пойму? yahoo теперь использует bing? также как rambler.ru — yandex, а mail.ru — google?
Ответить
Анатолий, да, Yahoo закрыл Siteexplorer еще в октябре прошлого года. Идет масштабная глобализация поисковых систем, на поисковом рынке остаются сильнейшие)
Ответить
Почитал, добавил один из своих новых проектов. Спасибо. Хотя, говорят, что особого плюса добавление не дает, если сайт интересный ПС сами его скушают.
Ответить
Slayer, если будут ссылки на сайт, то поисковики сами найдут, это точно. Но в основные добавить лишним не будет.
Ответить
Уникальный интересный контент боты сами найдут. А так, не помешает для перестраховки добавить.
Ответить
Николай, к сожалению это не всегда так, но мне нравится Ваш оптимизм! 🙂
Ответить
А как-то можно на китайскую Байду добавиться так же просто, как на наши поисковики?
Ответить
Иван, конечно можно, пройдите по этой ссылке, введите капчу, нажмите рядом на кнопку и готово. Только оно Вам надо? 😀 Если так и не разберетесь, то переведите страницу на русский, сгодится даже встроенный переводчик в Chrome.
Ответить
Спасибо за ответ, я в тот же день нашел и разобрался. Да и с китайским у меня проблем нет, в универе (в Китае) 3 года уже долбаю его =)
Ответить
А как вы относитесь к системам авторегистрации? Просто хочу попробовать нужен совет. Кстати блог интересный)
Ответить
Seasnet, если имеете в виду хрумер и подобные системы, то не советую. Качество доноров по которым происходит прогон оставляет желать лучшего — и это еще мягко сказано. Да и ссылочный взрыв вряд ли пойдет на пользу. Хоть и говорят, что внешними факторами сайту не навредить — это не правда.
Ответить
Ссылка на yahoo не работает
Ответить
alex, Yahoo Site Explorer закрылся и все данные перешли в панель инструментов для вебмастеров Бинг, поэтому просто добавьте сайт в Бинг и он появится в поиске Яху. Обновил запись, чтобы не вводить в заблуждение остальных посетителей.
Ответить
Webliberty, про Webalta забыл написать 😀
Ответить
А если сайт невозможно зарегистрировать в поисковике, то тогда как быть? 💡
Ответить
Да с поисковиками что-то неладное твориться, то строятся то перестраиваются наверное за политикой следят они вот и кружева плетут то Big то Yahoo. Да и Google с Яндекс что-то не то чтобы старались. В интернете как и в мире становится бардака больше и больше, ну а мы растём мы развиваемся да и Вам того же! 😉
Ответить
Владимир, про этот вирусный поисковик мне нечего сказать 😀
Фокследи, что имеете в виду? В принципе, рано или поздно, при условии что на сайт имеются ссылки, он попадет в индекс и не важно добавляли Вы его куда-нибудь или нет.
Ответить
А если сайт вообще не регистрировать в поисковиках он сам по себе будет им виден когда-нибудь? 🙂
Ответить
Уже который раз пытаюсь добавить сайт в Гугл, пишет «Скоро все будет», но Гуглом никак нормально не индексируется. В чем может быть дело?
Ответить
Костя, если на сайт ссылаются с других ресурсов, то поисковые системы, переходя по ссылкам, его найдут и проиндексируют, если сочтут это нужным.
Vipman, Ваш сайт проиндексирован Гуглом — более 500 страниц в индексе, а вот с Яндексом явно проблемы.
Ответить
В Яндексе сменил зеркало, пропали все страницы в поиске. Сколько они будут попадать обратно?
Ответить
Аналогичная ситуация. Год назад тоже менял зеркало. У сайта первоначально было 7000 страниц в индексе, после смены зеркала, вся индексация сайта началась заново. Прошел год, а в индексе только 1800 страниц. Яндекс, сейчас, ну очень медленный.
Ответить
Vipman, как я понимаю зеркало меняли 301 редиректом? Это не совсем правильно! Скоро на блоге опубликую статью о смене зеркал, как это делал у себя и при этом не потерял позиции и трафик.
Ответить
Нет. Без разницы.
К сайту (про 7000 страниц), купили второй домен. Прописали в DNS записи «A» на тот же хостинг.
И по старому домену и по новому грузился один и тот же сайт, одни и те же страницы, одни и те же урлы. В Robots.txt прописали новый Host.
Картину наблюдали по Я.вебмастеру, сначала второй сайт индексировался как новый… А через месяц пришло сообщение об объединении доменов. В этот момент сайт начал индексироваться заново… 7000 страницы выпали.
Полгода назад, уже другой сайт делали redirect 301 (прописывали в .htaccess). Изначально было 260 страниц в индексе.
После очередного сообщения про смену зеркал, произошел сброс и началась индексация заново. В итоге сейчас 64 страницы в индексе.
Ладно, скоро Спутник выйдет в свет, вот тогда начнутся настоящие чудеса. Все уже прописали в robots.txt? 😀
Ответить
В Яндекс Вебмастере выбрал другое главное зеркало. Кстати, так до сих пор не проиндексировался повторно!
Ответить
Для того, что бы сайт переиндексировался — надо немного подождать обновление поисковой базы, вот тогда Вы и увидите результат, не торопитесь всё обязательно случится…
Ответить
Проиндексировались, но в поиске только главная. И то через полгода, после удаления и повторного добавления. Гугл индексирует новые за 2-3 дня.
Ответить
Vipman, если в поиске только главная, то это на 99% фильтр АГС от Яндекса, самое разумное в этой ситуации написать в техподдержку Яндекса (Платону Лебедеву) с объяснениями причины, они проверят сайт Ваш и выскажут предположительно из-за чего это всё (подробностей от них не добьёшься — только предположительно). У меня переклеивался несколько месяцев, сейчас всё нормально. А под фильтр АГС могли попасть из-за того, что старые страницы сайта остались в поиске , а при индексации нового получились дубликаты этих страниц. Напишите в Яндекс…
Кстати Вы директиву Host в robots.txt прописывали? При смене зеркала надо прописать директиву Host, что бы робот Яндекса знал по какому именно адресу надо индексировать, а какой адрес считать неглавным зеркалом.
Ответить
Автор, я думаю можно добавить Mail.ru, так как у него есть свой собственный вебмастер-кабинет. Недавно добавил в него сайт, теперь жду результатов.
А Google, из-за того, что я в Крыму, уже не хочет нормально работать. Только одни вирусы. И Mail.ru, как я заметил по своим базам ищет 😉
Ответить
Максим, про Мэйл написано в статье и ссылка указана, Вы наверно не заметили, потому что картинка не обновлена — раньше это был GoGo. Обновил статью.
Ответить
Из вышеперечисленных для сайта имеют значение только Гугл и Яндекс… Остальные поисковые машины практически и ничтожно малы по популярности и использованию юзерами. В настоящее время стоит присмотреться к Bing — она применяется в Apple и новой серии Windows.
Ответить