Google – один из основных источников трафика для миллионов сайтов. Если вы хотите получить трафик из Гугла, то страницы вашего сайта должны быть в индексе поисковой системы. В этой статье вы узнаете, как проверить индексацию сайта в Google, как ускорить индексацию страницы, и найдете ответы на другие частые вопросы об индексировании сайтов.
Сайты попадают в индекс поиска благодаря индексации – процесса, в рамках которого поисковая система сканирует Интернет, узнает о существовании определенной страницы и добавляет её в свою базу данных.
Все сайты и страницы, которые вы видите в Google, были когда-то проиндексированы. Но это не одноразовый процесс, поисковик производит регулярное сканирование Интернета с помощью ботов, при котором страницы «переиндексируются». Это позволяет формировать актуальную поисковую выдачу.
Начало статьи будет идеальным местом для того, чтобы предложить вам подписаться на мой ТГ канал. Там много авторского контента про SEO и актуальные технологии, а главное — честно, без купюр и манипуляций мнением. Ссылка вот — https://t.me/seomikhaylov
Создание сайта не равносильно его индексации, то есть не равносильно попаданию в выдачу поисковика. В Интернете тысячи сайтов, которые не проиндексированы по разным причинам – из-за ошибок при создании, из-за умышленного запрета, из-за санкций со стороны поисковиков и по другим причинам.
Базовый процесс индексации работает следующим образом:
Часть адресов одного веб-сайта могут быть в поиске, а часть нет. Наличие одних страниц не гарантирует попадание других, это определяется индивидуально для каждой веб-страницы.
Индексация не означает, что вы получите трафик из поисковых систем. Для этого важна не только индексация, но и высокое ранжирование, то есть попадание на первые строчки в ответах на определенные запросы. Но именно со сканирования сайта и последующей индексации всё начинается, поэтому разберемся с этим дальней.
От индексации сайта напрямую зависит, будет ли у вас органический трафик.
Индексирование сайта в Google еще не гарантирует, что вы точно попадаете в ТОП и соберете весь трафик, но отсутствие страниц в поисковой системе – это 100% гарантия, что трафика с этого источника не будет.
Отсутствие трафика – главная проблема, но есть и побочные. Например, если скопированный у вас контент проиндексируется другом сайте, то в будущем ваш собственный контент может считаться плагиатом или неуникальным контентом, если ваш сайт будет проиндексирован позже. Поисковые системы зачастую считают оригиналом именно тот источник, с которого контент был добавлен первым.
Одна из причин, почему нет поискового трафика – страница не попала в поиск. Чтобы узнать, была ли страница проиндексирована, существует несколько способов.
Самый простой метод, но не всегда точный – проверка индексации через поиск Google.
Для этого не требуются специализированные инструменты, достаточно в поисковой строке указать URL-адрес, который необходимо проверить, в следующем формате – site:[https://tut-adress-vashego-sajta.ru/]. Например, для главной – site:https://mihaylov.digital/:
Если вы видите запрошенное в поисковой выдаче – это значит, что адрес проиндексирован.
Этот же запрос позволит вам увидеть и общие данные всего веб-сайта. То есть таким образом вы сможете решить ещё одну задачу – проверить индексацию всего проекта, а не только конкретной страницы. Поисковик отражает примерное количество адресов, а также их список:
Аналогичным образом можно проверить индексацию любого внутреннего URL-адреса. Для этого вместо главной укажите точный адрес, например, site:https://mihaylov.digital/linkbilding/:
Аналогичным образом можно проверить индексацию любого внутреннего URL-адреса. Для этого вместо главной укажите точный адрес, например, site:https://mihaylov.digital/linkbilding/:
В отличие от первого формата, так вы сможете проверить индексацию одной страницы. Если она проиндексирована, вы увидите её в выдаче, а если страницы там нет, то значит она не попала в общий поиск.
Этот способ позволяет проверить не только собственный ресурс, но и конкурентов. Для этого необходимо скопировать любую ссылку и вставить его в поисковую строку в формате site:[URL].
Никаких ограничений по количеству запросов данным способом нет, если вы работаете вручную. Если автоматизировать запросы с помощью софта, может потребоваться заполнение CAPTCHA или использование прокси.
С помощью этого метода также можно просмотреть URL, которые были проиндексированы за определенный срок. Для этого разверните панель “Инструменты” и пункте “За всё время” выберите необходимый срок:
Так вы сможете увидеть динамику или выявить проблемы, когда свежие страницы долго не индексируются.
Google Search Console – официальный бесплатный инструмент. Только владельцы, а также те, кому владелец предоставил доступ, могут воспользоваться данным инструментом. Поэтому метод не получится использовать для анализа конкурентов.
Если вы ранее не пользовались этим инструментом, то перед проверкой потребуется проделать следующие шаги:
Если у вас уже есть проект, либо после сбора данных нового проекта, вы можете проверить информацию в разделе “Индексирование” → “Страницы”:
В отличие от публичной информации, доступной в поиске, в консоли видна история индексации и другие данные. Здесь вы получите подробный отчет о проиндексированных и не проиндексированных адресах.
Важно: данные в консоли отображаются с задержкой в 1-3 дня. Например, 26 апреля последнее обновление ряда данных от 23 апреля, а других от 24 и 25 числа.
Чтобы посмотреть данные, выберите соответствующий раздел:
В отчете вы увидите все URL, которые попали в выдачу, а также дату последнего сканирования:
На главной отчета доступны данные и по проблемным страничкам (в нижней части отчёта):
Чтобы увидеть конкретные URL адреса, необходимо кликнуть на причину. Так вы увидите все странички, которые не были проиндексированы по определенной причине:
Google Search Console – максимально информативная платформа, в которой легко потеряться. Проще всего проверить конкретную веб-страницу по её URL-адресу. Для этого скопируйте адрес в верхнее поле на любой странице Консоли и нажмите “Enter” на клавиатуре:
После обработки запроса вы получите однозначный результат. Если всё в порядке, то вы увидите сообщение “URL есть в индексе Google”.
В случае, если веб-страница не проиндексирована, вы увидите подобное сообщение с дополнительной информацией:
Если нет объективных проблем, почему страничка не может попасть в индекс, то запросите её индексирование, кликнув на одноименную кнопку:
Если указанные в консоли проблемы актуальны, то перед запросом обязательно устраните проблемы.
Ручной запрос – эффективный способ ускорения индексации. В течение суток вы можете воспользоваться этой функцией не более десяти раз. Отправлять повторно тот же адрес не имеет смысла.
Существуют десятки различных онлайн инструментов, которые помогут с проверкой индексации страниц, например:
Даже в платных инструментах, как правило, есть возможность бесплатной проверки части страниц. Например, через сервис pr-cy.ru вы можете бесплатно проверить индексацию веб-сайта и узнать примерное количество страниц в Яндекс и Google:
Чтобы увидеть динамику индексации, потребуется перейти на платный тариф. Подобным образом можно проверить и свой сайт, и конкурентов.
Существуют и более мощные онлайн инструменты, объединяющие в себе множество функций. Например, Rush Analytics позволяет не только проанализировать SEO показатели, но и проверить URL в поиске. Для этого зарегистрируйтесь в системе, и перейдите в отчет “Проверка индексации” в разделе “Инструменты”:
Некоторые функции Rush Analytics доступны не только для своего проекта, но и проектов конкурентов, так как проверка работает без связки с Google Search Console. То есть инструмент позволяет проверить не только собственные страницы, но и страницы конкурентов. Аналогичный функционал есть и в других инструментах, например, SEMRush.
Если вам не нужны дополнительные функции Rush Analytics, SEMRush и их аналогов, проверить можно и с помощью простых инструментов, например, через Serphunt:
Программы постепенно уходят в прошлое, так как современные веб-решения предлагают всё то же самое и даже больше. Но некоторые решения по-прежнему актуальны, особенно для задач с большим объемом данных, когда требуется разом проверить 10 000 адресов или больше.
Одна из лучших программ для проверки индексации – SEMonitor. Для работы с инструментом потребуется список URL адресов. Его можно выгрузить самостоятельно из карты сайта, если у вас настроен Sitemap.xml, либо же для автоматической выгрузки воспользуйтесь SiteAuditor.
Помимо данных об индексации в Google, SEMonitor покажет информацию по другим поисковым системам, например, в Яндексе, а также дополнительные данные.
Помимо самостоятельного софта, решения доступны и в формате плагинов для браузера. Это удобно, так как позволяет в одном окне и увидеть сам сайт, и тут же проверить его индексацию. В каталоге расширений для Хрома доступно несколько решений:
Например – Google Search Console & Bing Webmaster Tools, позволяет удобно проверить индексацию любого адреса в Интернете, если купить платную подписку:
Другое решение – Crawl date checker for Google, позволяет увидеть прямо в браузере, когда страница была последний раз просканирована. Например:
Если данных о краулере нет, то данная страница не попала в поиск.
Для массовой проверки можно использовать бесплатное расширение Bulk Index Checker:
Помимо работы внутри браузера, это расширение также умеет выгружать отчеты для дальнейшей работы в стороннем софте.
Букмарклеты не требуют сложных знаний в программировании, хоть и являются небольшим скриптом на Javascript. С помощью этого решения вы можете в браузере быстро проверить любую веб-страницу в самой поисковой системе, но без необходимости вручную подставлять параметры.
Для этого сохраните на панель закладок браузера следующие скрипты:
Чтобы метод сработал, добавьте букмарклет в панель закладок в вашем браузере, для чего перетащите ссылку в панель:
После этого вы сможете быстро посмотреть данные любого веб-сайта или конкретной страницы. Для этого достаточно кликнуть на букмарклет, когда вы находитесь на странице, которую необходимо проверить:
Клик на букмарклет переадресует вас на google.com для проверки домена или URL-адреса, как и в первом способе, но в этой реализации вам не потребуется составлять запрос самостоятельно.
Indexing API – официальный инструмент для разработчиков и всех, кто понимает в технологии API. Неофициальное название этого инструмента – Индексатор. Изначально Индексатор был создан для уведомления об удалении или появлении новых веб-страниц, а также об их обновлении, но его можно использовать и для контроля актуального состояния.
Суточный лимит для каждого домена – 100 обращений к API. Лимит может быть увеличен по обращению, если на вашем проекте внедрена микроразметка JobPosting и в некоторых других случаях.
Этот инструмент подойдет только для опытных пользователей, но зато он отлично подходит для массовой проверки URL адресов, минуя любые интерфейсы. Подробная инструкция, как работать с индексатором, доступна в этой статье.
Индексация в Google – тёмный лес не только для новичков. Чтобы вы быстрей разобрались во всех тонкостях, собрали ответы на частые вопросы.
Если нужна индексация страницы, то убедитесь, что ваш веб-сайт доступен поисковому роботу. Для этого проверьте правила в Robots.txt, а также убедитесь, что никакая часть значимого контента не закрыта тегом noindex, а также другие ошибки на сайте не мешают просканировать контент.
Проиндексировать сайт в Google и в целом в поисковых системах нельзя, если стоит запрет, поэтому обязательно убедитесь, что у вас всё корректно настроено и заполнено, в том числе метатеги. Важно проконтролировать данные этих отдельных страниц сайта, которые нужно добавить в поисковик, а не просто зайти на свой веб-сайт в глобальные настройки.
Ещё один совет, который дают практически все seo-специалисты – убедитесь, что на страницу есть ссылки, то есть на нее можно попасть с других адресов. Это важно, так как поисковый робот исследует Интернет как раз по ссылкам. Разумеется, карту сайта также никто не отменял, но нужна и активная ссылка, например, из меню или внутри статьи.
Если скорость индексации вам не столь важна, то первых советов должно хватить. Но Google может долго индексировать свежие страницы, вы можете ускорить этот процесс. Как минимум, вы можете вручную запросить через Google Search Console, либо же воспользоваться специальными сервисами. С “аддурилками” страница будет индексироваться быстрее.
Самая исчерпывающая информация, но при этом в простом и наглядном интерфейсе, доступна в бесплатном инструменте – Google Search Console. Для использования необходимо быть владельцем сайта или иметь делегированные права доступа, поэтому способ подойдет не всем.
Для быстрой проверки своего веб-сайта или проекта конкурентов, можно использовать букмарклеты, плагины или онлайн-инструменты. А если задача стоит массовая, например, проверить 10 000 уникальных адресов или больше, то помогут специальные программы или API от Google.
Одного единственного метода, который можно было бы назвать лучшим способом проверки индексирования в Гугл, не существует. Выбирайте тот способ, которым вам удобно пользоваться. А если столкнетесь с проблемами, то позаботьтесь об устранении всех технических ошибок и реализации рекомендаций из Консоли.