Как проверить индексацию сайта в Google и проиндексировать свой сайт или страницу в Гугле

Google – один из основных источников трафика для миллионов сайтов. Если вы хотите получить трафик из Гугла, то страницы вашего сайта должны быть в индексе поисковой системы. В этой статье вы узнаете, как проверить индексацию сайта в Google, как ускорить индексацию страницы, и найдете ответы на другие частые вопросы об индексировании сайтов.

Что такое индексация сайта в поисковой системе

Сайты попадают в индекс поиска благодаря индексации – процесса, в рамках которого поисковая система сканирует Интернет, узнает о существовании определенной страницы и добавляет её в свою базу данных.

Все сайты и страницы, которые вы видите в Google, были когда-то проиндексированы. Но это не одноразовый процесс, поисковик производит регулярное сканирование Интернета с помощью ботов, при котором страницы «переиндексируются». Это позволяет формировать актуальную поисковую выдачу.

Как работает индексирование страниц в Google

Создание сайта не равносильно его индексации, то есть не равносильно попаданию в выдачу поисковика. В Интернете тысячи сайтов, которые не проиндексированы по разным причинам – из-за ошибок при создании, из-за умышленного запрета, из-за санкций со стороны поисковиков и по другим причинам.

Базовый процесс индексации работает следующим образом:

1. Создание страницы – вы создаете новую страницу в Интернете, открытую для индексации поисковиками, то есть без запрета с вашей стороны.
2. Сканирование – поисковые системы в рамках этого процесса обнаруживают страницу.
3. Индексация – в ситуации, когда поисковая система считает страницу достаточно качественной, она добавляется в базу.

Часть адресов одного веб-сайта могут быть в поиске, а часть нет. Наличие одних страниц не гарантирует попадание других, это определяется индивидуально для каждой веб-страницы.

Индексация не означает, что вы получите трафик из поисковых систем. Для этого важна не только индексация, но и высокое ранжирование, то есть попадание на первые строчки в ответах на определенные запросы. Но именно со сканирования сайта и последующей индексации всё начинается, поэтому разберемся с этим дальней.

Почему важна индексация сайта в Google

От индексации сайта напрямую зависит, будет ли у вас органический трафик.

Индексирование сайта в Google еще не гарантирует, что вы точно попадаете в ТОП и соберете весь трафик, но отсутствие страниц в поисковой системе – это 100% гарантия, что трафика с этого источника не будет.

Отсутствие трафика – главная проблема, но есть и побочные. Например, если скопированный у вас контент проиндексируется другом сайте, то в будущем ваш собственный контент может считаться плагиатом или неуникальным контентом, если ваш сайт будет проиндексирован позже. Поисковые системы зачастую считают оригиналом именно тот источник, с которого контент был добавлен первым.

7 способов проверки индексации сайта в Google

Одна из причин, почему нет поискового трафика – страница не попала в поиск. Чтобы узнать, была ли страница проиндексирована, существует несколько способов.

1. Проверка через поисковый запрос в Гугле

Самый простой метод, но не всегда точный – проверка индексации через поиск Google.

Для этого не требуются специализированные инструменты, достаточно в поисковой строке указать URL-адрес, который необходимо проверить, в следующем формате – site:[https://tut-adress-vashego-sajta.ru/]. Например, для главной – site:https://mihaylov.digital/:

Если вы видите запрошенное в поисковой выдаче – это значит, что адрес проиндексирован.

Этот же запрос позволит вам увидеть и общие данные всего веб-сайта. То есть таким образом вы сможете решить ещё одну задачу – проверить индексацию всего проекта, а не только конкретной страницы. Поисковик отражает примерное количество адресов, а также их список:

Аналогичным образом можно проверить индексацию любого внутреннего URL-адреса. Для этого вместо главной укажите точный адрес, например, site:https://mihaylov.digital/linkbilding/:

Аналогичным образом можно проверить индексацию любого внутреннего URL-адреса. Для этого вместо главной укажите точный адрес, например, site:https://mihaylov.digital/linkbilding/:

В отличие от первого формата, так вы сможете проверить индексацию одной страницы. Если она проиндексирована, вы увидите её в выдаче, а если страницы там нет, то значит она не попала в общий поиск.

Этот способ позволяет проверить не только собственный ресурс, но и конкурентов. Для этого необходимо скопировать любую ссылку и вставить его в поисковую строку в формате site:[URL].

Никаких ограничений по количеству запросов данным способом нет, если вы работаете вручную. Если автоматизировать запросы с помощью софта, может потребоваться заполнение CAPTCHA или использование прокси.

С помощью этого метода также можно просмотреть URL, которые были проиндексированы за определенный срок. Для этого разверните панель “Инструменты” и пункте “За всё время” выберите необходимый срок:

Так вы сможете увидеть динамику или выявить проблемы, когда свежие страницы долго не индексируются.

2. Как проверить индексацию через Google Search Console (Консоль)

Google Search Console – официальный бесплатный инструмент. Только владельцы, а также те, кому владелец предоставил доступ, могут воспользоваться данным инструментом. Поэтому метод не получится использовать для анализа конкурентов.

Если вы ранее не пользовались этим инструментом, то перед проверкой потребуется проделать следующие шаги:

• Зайти в свой аккаунт Google Search Console.
• Добавить новый ресурс:

• Подтвердить права одним из доступных способов, например, добавив тег в код.
• Дождаться актуализации данных в консоли (обычно 24-48 часов).

Если у вас уже есть проект, либо после сбора данных нового проекта, вы можете проверить информацию в разделе “Индексирование” → “Страницы”:

В отличие от публичной информации, доступной в поиске, в консоли видна история индексации и другие данные. Здесь вы получите подробный отчет о проиндексированных и не проиндексированных адресах.

Важно: данные в консоли отображаются с задержкой в 1-3 дня. Например, 26 апреля последнее обновление ряда данных от 23 апреля, а других от 24 и 25 числа.

Чтобы посмотреть данные, выберите соответствующий раздел:

В отчете вы увидите все URL, которые попали в выдачу, а также дату последнего сканирования:

На главной отчета доступны данные и по проблемным страничкам (в нижней части отчёта):

Чтобы увидеть конкретные URL адреса, необходимо кликнуть на причину. Так вы увидите все странички, которые не были проиндексированы по определенной причине:

Проверка определенной страницы

Google Search Console – максимально информативная платформа, в которой легко потеряться. Проще всего проверить конкретную веб-страницу по её URL-адресу. Для этого скопируйте адрес в верхнее поле на любой странице Консоли и нажмите “Enter” на клавиатуре:

После обработки запроса вы получите однозначный результат. Если всё в порядке, то вы увидите сообщение “URL есть в индексе Google”.

В случае, если веб-страница не проиндексирована, вы увидите подобное сообщение с дополнительной информацией:

Если нет объективных проблем, почему страничка не может попасть в индекс, то запросите её индексирование, кликнув на одноименную кнопку:

Если указанные в консоли проблемы актуальны, то перед запросом обязательно устраните проблемы.

3. Проверка через онлайн инструменты

Существуют десятки различных онлайн инструментов, которые помогут с проверкой индексации страниц, например:

• https://pr-cy.ru/
• https://linkody.com/
• И другие

Даже в платных инструментах, как правило, есть возможность бесплатной проверки части страниц. Например, через сервис pr-cy.ru вы можете бесплатно проверить индексацию веб-сайта и узнать примерное количество страниц в Яндекс и Google:

Чтобы увидеть динамику индексации, потребуется перейти на платный тариф. Подобным образом можно проверить и свой сайт, и конкурентов.

Существуют и более мощные онлайн инструменты, объединяющие в себе множество функций. Например, Rush Analytics позволяет не только проанализировать SEO показатели, но и проверить URL в поиске. Для этого зарегистрируйтесь в системе, и перейдите в отчет “Проверка индексации” в разделе “Инструменты”:

Некоторые функции Rush Analytics доступны не только для своего проекта, но и проектов конкурентов, так как проверка работает без связки с Google Search Console. То есть инструмент позволяет проверить не только собственные страницы, но и страницы конкурентов. Аналогичный функционал есть и в других инструментах, например, SEMRush.

Если вам не нужны дополнительные функции Rush Analytics, SEMRush и их аналогов, проверить можно и с помощью простых инструментов, например, через Serphunt:

4. Проверить индексацию с помощью программ

Программы постепенно уходят в прошлое, так как современные веб-решения предлагают всё то же самое и даже больше. Но некоторые решения по-прежнему актуальны, особенно для задач с большим объемом данных, когда требуется разом проверить 10 000 адресов или больше.

Одна из лучших программ для проверки индексации – SEMonitor. Для работы с инструментом потребуется список URL адресов. Его можно выгрузить самостоятельно из карты сайта, если у вас настроен Sitemap.xml, либо же для автоматической выгрузки воспользуйтесь SiteAuditor.

Помимо данных об индексации в Google, SEMonitor покажет информацию по другим поисковым системам, например, в Яндексе, а также дополнительные данные.

5. Проверка с помощью плагинов для Google Chrome

Помимо самостоятельного софта, решения доступны и в формате плагинов для браузера. Это удобно, так как позволяет в одном окне и увидеть сам сайт, и тут же проверить его индексацию. В каталоге расширений для Хрома доступно несколько решений:

Например – Google Search Console & Bing Webmaster Tools, позволяет удобно проверить индексацию любого адреса в Интернете, если купить платную подписку:

Другое решение – Crawl date checker for Google, позволяет увидеть прямо в браузере, когда страница была последний раз просканирована. Например:

Если данных о краулере нет, то данная страница не попала в поиск.

Для массовой проверки можно использовать бесплатное расширение Bulk Index Checker:

Помимо работы внутри браузера, это расширение также умеет выгружать отчеты для дальнейшей работы в стороннем софте.

6. Быстрая проверка с помощью букмарклетов

Букмарклеты не требуют сложных знаний в программировании, хоть и являются небольшим скриптом на Javascript. С помощью этого решения вы можете в браузере быстро проверить любую веб-страницу в самой поисковой системе, но без необходимости вручную подставлять параметры.

Для этого сохраните на панель закладок браузера следующие скрипты:

• Весь домен – javascript:void(window.open(‘https://www.google.com/search?q=site:%27+++location.host))
• Определенный URL адрес– javascript:void(window.open(‘https://www.google.com/search?q=info:%27+++document.location.href))

Чтобы метод сработал, добавьте букмарклет в панель закладок в вашем браузере, для чего перетащите ссылку в панель:

После этого вы сможете быстро посмотреть данные любого веб-сайта или конкретной страницы. Для этого достаточно кликнуть на букмарклет, когда вы находитесь на странице, которую необходимо проверить:

Клик на букмарклет переадресует вас на google.com для проверки домена или URL-адреса, как и в первом способе, но в этой реализации вам не потребуется составлять запрос самостоятельно.

7. Google Indexing API

Indexing API – официальный инструмент для разработчиков и всех, кто понимает в технологии API. Неофициальное название этого инструмента – Индексатор. Изначально Индексатор был создан для уведомления об удалении или появлении новых веб-страниц, а также об их обновлении, но его можно использовать и для контроля актуального состояния.

Суточный лимит для каждого домена – 100 обращений к API. Лимит может быть увеличен по обращению, если на вашем проекте внедрена микроразметка JobPosting и в некоторых других случаях.

Этот инструмент подойдет только для опытных пользователей, но зато он отлично подходит для массовой проверки URL адресов, минуя любые интерфейсы. Подробная инструкция, как работать с индексатором, доступна в этой статье.

Ответы на частые вопросы по поиску Google и индексации страниц

Индексация в Google – тёмный лес не только для новичков. Чтобы вы быстрей разобрались во всех тонкостях, собрали ответы на частые вопросы.

Когда страница попадает в Google?

Существует три основных условия, при которых страница попадает в индекс поисковика:

1. Публично открыта и не запрещена для индексации;
2. Была просканирована со стороны Гугл;
3. Достаточно качественная, чтобы отображаться в результатах поиска.

Все три условия важны. Например, если статья доступна только для авторизованных пользователей, то есть статья не открыта публично, то такой адрес не будет проиндексирован.
Сканирование не даёт гарантий попадания в индекс. Если адрес не запрещен для индексации, то основное условие – Гугл должен оценить URL достаточно полезным для попадания в базу.

Сколько требуется времени для индексации?

Для новых сайтов может потребоваться до 4 месяцев, если всё настроено корректно. Индексацию можно ускорить, если “сообщить” о появлении страницы, например, через инструмент в Консоли. В этом случае потребуется от нескольких дней до нескольких недель.

Для новых страниц на проекте, который уже известен поисковику, требуется меньше времени. Стандарта не существует, но в норме новая страница появляется в выдаче примерно до 5 дней. В некоторых случаях достаточно 15-20 минут, например, для новостных ресурсов. 

Почему сайт или страница не попала в выдачу?

Для проектов, добавленных в Консоль, доступен подробный отчет о причинах, почему что-то не индексируется. Например:

Пример ошибок, почему страница не попала в индекс

Отсутствие страницы в выдаче сразу после публикации – это нормально. Если и по прошествии времени Google так и не добавит определенную страничку, то это сигнал о возможных проблемах:

• Некорректное использование тега “canonical” для указания основной версии. Проверьте в коде, если тег задан корректно и использован верный URL адрес. Возможно, поисковик оценил страницу дублирующей из-за вашей ошибки, исключив её из индекса.
• Отсутствие URL адреса в карте сайта – проверьте наличие проблемной странички в Sitemap.xml. Помимо карты, в любой статье на вашем ресурсе, которая уже проиндексирована, добавьте минимум одну активную ссылку на URL, не попавший в индекс.
• Качество контента – поисковик добавляет в выдачу только полезный контент. Польза определяется по множеству факторов, один из основных – качество контента. Убедитесь, что веб-страница не только полезна, но и удобна для использования. Например, что контент не перекрыт другими блоками и т.д.

Это самые популярные причины, почему одна из страниц не попала в выдачу. Но проблемы могут быть более глобальными, когда поисковик не индексирует весь ресурс.

Почему Google не индексирует сайт?

Если Гугл не индексирует сайт полностью, то проблемы более глобальные. Всё перечисленное ниже может влиять и на одну конкретную страницу, но ошибки подобного уровня приводят к глобальным проблемам с индексацией:

•  Установлен запрет со стороны сайта – через файл robots.txt в корне, мета-тег “robots” или HTTP заголовок “X-Robot-Tag”. Для поиска проблемы вы можете использовать Google Search Console или внешние инструменты, которые анализируют параметры.
• Проблемы с доступностью сервера – убедитесь, что ваш проект доступен постоянно. Если сайт недоступен во время обхода поисковым роботом, то Гугл не узнает о существовании вашего ресурса или новых страниц.
• Бан со стороны поисковой системы – любой проект может быть исключен из индекса за нарушения правил. Иногда нарушение касается не вас, а IP адреса, который на дешевом хостинге вы можете делить с проектами других клиентов. В большинстве случаев проблему можно решить, устранив причину бана.

О большинстве критичных ошибок, почему Гугл не индексирует сайт, можно узнать в Google Search Console. Обязательно добавьте проект в консоль, это поможет не только на начальном этапе индексации, но и в последствии позволит отслеживать актуальную ситуацию. Попадание проекта в выдачу не гарантирует, что так будет всегда, поэтому важно следить за ситуацией постоянно.

Совет: если у вас новый проект, то помимо добавления в Google Search Console, разместите на стороннем сайте одну или несколько активных ссылок на свой проект. Робот обходит Интернет по ссылкам, поэтому наличие активной ссылки на стороннем веб-сайте способно решить проблему с индексацией нового проекта.

Как ускорить индексацию веб-сайта?

Корректно настроенный сайт – фундамент для быстрой индексации, поэтому ускорение начинается не во вне проекта, а на нём. Обратите внимание на следующее:

• Sitemap – регулярно обновляется, содержит ссылки на все необходимые в индексе страницы.
• Мобильная версия – у проекта есть мобильная версия или адаптивная верстка, которая корректно работает на всех девайсах.
• Скорость загрузки и стабильность работы – у сервера высокий аптайм, высокая скорость ответа и сам веб-сайт загружается быстро. Для последнего доступен официальный инструмент – Google PageSpeed Insights.
• Дубли – их либо нет вовсе, либо настроен параметр “Canonical”, который сообщает боту основную копию.
• Редиректы – перенаправление должно использоваться только там, где это уместно, а также с нужным кодом – 301, 302 и т.д.

Обратить внимание стоит и на другие параметры, которые зачастую называются техническим SEO. Часть рекомендаций доступны в Google Search Console в разделе Core Web Vitals:

Пример отчета Core Web Vitals в Google Search Console

Критичные ошибки (красные) необходимо устранять в максимально короткий срок. Остальные ошибки также необходимо устранять, но по мере возможностей.

Если всё настроено корректно, либо количество проблем минимальное, вы можете ускорить индексацию несколькими способами:

• Через Google Search Console – проверьте URL-адрес через основную строку вверху экрана, и, если адрес не в индексе, запросите индексирование. Повторный клик не улучшит ситуацию, на один адрес отправляйте один запрос:

Как ускорить индексирование страницы через Google Search Console

• С помощью Google Indexing API можно отправить запросы об индексации до 100 адресов в сутки. Инструкция доступна по этой ссылке.
• Трафик с других источников, по которым переходит и Google-bot, также поможет ускорению. Но важно выбрать проект для размещения, который бот обходит регулярно, иначе о появлении ссылки Google-bot узнает слишком поздно. Часто переобходят новостные проекты, форумы и другие проекты, где контент часто обновляется. Ссылка должна быть “активной”, то есть по которой можно перейти кликом.
• Специальные сервисы, например Speedyindex.com, за вас сообщают Google о новой странице, что ускоряет индексирование. Большинство сервисов платные.

Что такое краулинговый бюджет и как им управлять?

На основе оценки качества, количества страниц и некоторых других факторов, формируется “Краулинговый бюджет” для вашего проекта – то есть сколько ссылок с вашего домена Гуглбот обходит. По исчерпанию бюджета, проект индексируется медленней.

У каждого проекта собственный краулинговый бюджет – у небольших ресурсов, которые редко обновляются, краулинговый бюджет минимальный, для качественных проектов, где новые URL-адреса появляются регулярно, бюджет существенно выше. Но даже для проектов с высоким бюджетом важно, чтобы он не расходовался впустую.

Прямой способ управлять краулинговым бюджетом доступен только через Google Index API, всё остальное имеет косвенное влияние. Но именно с косвенным влиянием необходимо тщательно поработать, чтобы бюджет не расходовался впустую. Для этого необходимо:

• Добавьте параметры Last-Modified и If-Modified-Since на страницы проекта – это сэкономит ресурсы Google, так как бот будет оповещен, что определенная страница сайта не менялась с прошлого сканирования. Это же работает и в обратную сторону – ускоряет индексирование, оповещает бота, что страница новая или изменилась недавно.
• Оптимизируйте Sitemap.xml, чтобы в карте содержались только актуальные ссылки, при обращении к которым сервер отдает корректный ответ – то есть “200”, а не “404” или иные ошибки. Также убедитесь, что в карте нет “мусора”, на который зря расходует бюджет.
• Проанализируйте проект на битые ссылки – идеально свести их на нет, либо к минимуму. На переход по каждой ссылке расходуется краулинговый бюджет, поэтому все ссылки должны быть рабочими. Для проверки доступны различные инструменты. Например, PR-CY даже на бесплатном тарифе позволяет это проверить:

Как проверить сайт на битые ссылки

Помимо оптимизации расхода краулингового бюджета, стоит проработать и его повышение. Один из основных методов, помимо качественной технической части – регулярное обновление проекта. Google повышает краулинговый бюджет для регулярно обновляемых сайтов. Это касается не только появления новых URL-адресов, но и обновления контента на уже существующих.

Отличается ли проверка в Google и Яндекс?

Принцип работы поисковых систем схожий, в Яндексе страницы индексируются также при обходе Интернета, вы также можете закрыть сайт от индексации и т.д. Даже способов проверить индексацию сайта столько же, но инструменты частично отличаются.

Вы можете проверить с помощью универсальных инструментов, например, PR-CY или Serpstat. Также есть аналог Консоли – Яндекс.Вебмастер, в котором вы увидите, сколько страниц в Яндексе, какие страницы выпали и т.д. В Яндекс.Вебмастере есть возможность проверить отдельные страницы, а также найти ответ, почему сайт не индексируется.

Сканирование и ранжирование – в чём разница?

Сканирование не означает высокой позиции, это лишь попадание в “базу”. На ранжирование, то есть на позицию в выдаче, влияет множество факторов – качество каждой страницы, параметры веб-сайта, конкуренция, релевантность и т.д.

Может ли проверка сайта навредить индексации?

Даже если вы введете URL в строку поиска сто раз, это не повлияет на индексацию. Это же касается и использования сторонних сервисов, они не вредят проекту, если только вы не пользуетесь “серыми” или “черными” методами по ускорению.

Как проверить количество страниц в индексе?

Можно обратиться в поисковую систему – использовать оператор site, либо же использовать специализированные сервисы, упомянутые выше в этой статье.

Что такое попадание в ТОП выдачи?

Попадание вашей страницы в выдачу не означает, что она попадает на первые места. Именно первые места называются “топом”. Чаще всего рассматривают лишь первые 3 места, но по некоторым запросам трафик можно получить и при попадании в ТОП-5 или даже ТОП-10.

Как проиндексировать страницу в Гугле

Если нужна индексация страницы, то убедитесь, что ваш веб-сайт доступен поисковому роботу. Для этого проверьте правила в Robots.txt, а также убедитесь, что никакая часть значимого контента не закрыта тегом noindex, а также другие ошибки на сайте не мешают просканировать контент.

Проиндексировать сайт в Google и в целом в поисковых системах нельзя, если стоит запрет, поэтому обязательно убедитесь, что у вас всё корректно настроено и заполнено, в том числе метатеги. Важно проконтролировать данные этих отдельных страниц сайта, которые нужно добавить в поисковик, а не просто зайти на свой веб-сайт в глобальные настройки.

Ещё один совет, который дают практически все seo-специалисты – убедитесь, что на страницу есть ссылки, то есть на нее можно попасть с других адресов. Это важно, так как поисковый робот исследует Интернет как раз по ссылкам. Разумеется, карту сайта также никто не отменял, но нужна и активная ссылка, например, из меню или внутри статьи.

Если скорость индексации вам не столь важна, то первых советов должно хватить. Но Google может долго индексировать свежие страницы, вы можете ускорить этот процесс. Как минимум, вы можете вручную запросить через Google Search Console, либо же воспользоваться специальными сервисами. С “аддурилками” страница будет индексироваться быстрее.

Лучший способ проверки сайта, чтобы проверить ваш сайт или конкретную страницу

Самая исчерпывающая информация, но при этом в простом и наглядном интерфейсе,  доступна в бесплатном инструменте – Google Search Console. Для использования необходимо быть владельцем сайта или иметь делегированные права доступа, поэтому способ подойдет не всем.

Для быстрой проверки своего веб-сайта или проекта конкурентов, можно использовать букмарклеты, плагины или онлайн-инструменты. А если задача стоит массовая, например, проверить 10 000 уникальных адресов или больше, то помогут специальные программы или API от Google.

Одного единственного метода, который можно было бы назвать лучшим способом проверки индексирования в Гугл, не существует. Выбирайте тот способ, которым вам удобно пользоваться. А если столкнетесь с проблемами, то позаботьтесь об устранении всех технических ошибок и реализации рекомендаций из Консоли.