Как Google оценивает качество и спамность текста

Качество контента – один из самых важных параметров при продвижении сайта в Google. Несмотря на то, что поисковик не раскрывает всех деталей, несколько публичных патентов раскрывают основные механизмы оценки.

На этой странице вы узнаете, почему качество контента особенно важно при раскрутке в Гугле, как именно поисковик оценивает тексты, а также найдете практические рекомендации по оптимизации.

Почему качество контента важно для Google

Google стремится предоставить пользователям поисковой системы максимально качественные и релевантные результаты. Для определения результатов измеряются различные параметры, среди которых качество контента является одним из самых главных.

Качество контента влияет сразу на несколько параметров:

1. Ранжирование – с приходом “Панды” в 2011 году Гугл снижает позиции сайтов с низким качеством контента
2. Пользовательский опыт – качество контента напрямую влияет на пользовательский опыт, а вместе с тем и на поведенческие факторы.
3. Доверие к сайту – экспертные и естественные тексты повышают доверие и авторитет ресурса, что позитивно сказывается на важных для Google E-E-A-T факторах.

Вы можете убедиться в необходимости качественного контента при продвижении в Google лично. Для этого достаточно проверить выдачу по любому запросу – в большинстве случаев в ТОП-3 будут исключительно качественные и полезные тексты. Но бывают и исключения, когда алгоритм ошибается и высоко ранжирует менее подходящие варианты.

Естественность текста по Google – патент US8554769B1

Один из ключевых параметров при оценке текста – естественность. Гугл понимает, насколько текст естественный на основе анализа частоты слов и фраз, встречающихся в человеческой речи.

Патент US8554769B1 описывает технологию определения естественности текста. Google анализирует сразу несколько параметров:

• Фразы, редко встречающиеся в нормальной письменной или устной речи
• Непропорциональное использование ключевых слов
• Повторяющиеся шаблоны, например, одинаковые окончания или конструкции, сигнализирующие о генерации

Патент появился еще в 2009 году, до массового распространения искусственного интеллекта, но также он частично учитывает и сгенерированные тексты. Гугл вычисляет генерацию по “сбитому” синтаксису и повторяющейся структуре.

Если документ содержит аномальное распределение фраз, нехарактерное для живого человека, Google классифицирует его как неестественный, что приводит к целому ряду проблем:

• Падение позиций
• Снижение видимости сайта
• Общее ухудшение репутации домена

Помимо естественности Гугл также оценивает смысловую насыщенность текста. Это необходимо как для оценки качества текста, так и для оценки его содержания и смысла. Для этого Google применяет Latent Semantic Indexing (LSI) – анализ скрытых смысловых связей между словами.

Например, в тексте про смартфоны могут употребляться синонимы “мобильный телефон”, “устройство”, “девайс” и другие – это показывает, что текст создан человеком для человека, а не для поискового робота, где абсолютно все упоминания мобильного телефона имеют только прямое и точное вхождение.

Оценка качества по частоте фраз – патент US9767157B2

Патент US9767157B2 описывает метод статистического анализа частоты фраз в документе. Благодаря этому мы знаем, как Google использует статистический анализ для определения, насколько часто ключевая фраза должна встречаться в документе:

1. Алгоритм сравнивает частоту ключевой фразы
2. Если фраза встречается слишком часто – это сигнал переспама
3. Если фраза встречается слишком редко – это сигнал недооптимизации

Не существует универсальной частоты, которая бы подошла для всех типов страниц и тем. Например, вхождение на коммерческом лендинге и в информационной статье – разные. Поэтому Гугл учитывает частоту в тексте со средним распределением для этой темы в корпусе высококачественных документов.

Считается, что оптимальная плотность составляет 0,5-2% от общего числа слов. Всё зависит от того, насколько часто фраза встречается естественно. Отклонение в обе стороны может вызвать подозрения у алгоритма, а впоследствии и проблемы на сайте.

Для определения оптимальной плотности слов можно ориентироваться на показатель BM25. Подробнее вы узнаете в этой статье или следующем ролике:

Алгоритмы Панда и Пингвин

Google борется с некачественными текстами уже больше 10 лет. Ключевые алгоритмы, связанные с качеством текста:

1. Панда – снижает сайты с низким качеством контента
2. Пингвин – наказывает сайты за чрезмерную оптимизацию текста

Оба алгоритма используют статистический анализ, частично перекликающийся с патентами US8554769B1 и US9767157B2.

Практические шаги по оптимизации контента

Качественный контент – залог успешного продвижения в Google. Следующие практические рекомендации помогут вам создать страницы с учетом требований поисковой системы:

1. Ориентируйтесь на пользователей, а не роботов – учитывайте, что вашей страницей будут пользоваться живые пользователи и предоставляйте максимум пользы
2. Помните об алгоритмах – несмотря на то, что живые читатели на первом месте, не забывайте про поисковые алгоритмы, которые будут оценивать вашу страницу. Используйте разметку, разные типы контента и другое.
3. Расширяйте семантику – при подготовке контента ориентируйтесь на ключевые слова и прорабатывайте семантику.
4. Проверяйте текст на избыточную оптимизацию – переоптимизировать текст это также плохо, как недооптимизировать. Гугл может расценить это как манипуляцию, даже если вы не стремились ничего нарушить.

Для подготовки качественных текстов не обязательно заводить аккаунты в платных инструментах. Например, вы можете расширить семантику с помощью “Похожих запросов” в Яндекс.Вордстате:

Платные инструменты для анализа ключевых слов могут дать более полную картину, но даже бесплатной информации может хватить для ручной проработки.

Аналогично бесплатно можно решить вопрос и с анализом текста. Например, вы можете использовать частично бесплатный текстовый анализатор от Текст.ру:

Некоторые другие платформы, например, Адвего также позволяют бесплатно проверить количество вхождений или переспам. Но в борьбе с переспамом не уйдите в другую крайность – недостаточная оптимизация, когда в статье не хватает вхождений и нет LSI фраз.

Помимо вхождения слов важно не забывать и про другие факторы, связанные с контентом. В частности, важно уделять внимание E-E-A-T факторам, отдельно прорабатывая авторитетность и экспертность на уровне содержания страниц.

Ответы на частые вопросы

Несмотря на то, что Google и не раскрывает механизм оценки сайтов полностью, информация из патентов даёт общее понимание. Также в этом помогает многолетний опыт, который подсвечивает рабочие и нерабочие практики. Следующие ответы на частые вопросы помогут вам лучше разобраться в теме.

Какая оптимальная плотность ключевых слов для Google?

Универсальной плотности ключевых слов не существует. Все зависит от типа страницы и темы. Тем не менее, за примерный ориентир можно брать 1-2%. Это не значит, что 3% является нарушением, важно оценивать конкурентов в ТОПе и стремиться к максимальной естественности – так вы сможете получить оптимальную плотность ключевых слов без потери читаемости.

Как Google определяет, что текст «неестественный» или заспамленный?

Google использует сразу несколько алгоритмов для оценки текста. Основной – анализ частоты вхождений и сравнения с корпусом естественных текстов. Также алгоритм учитывает шаблонные конструкции, нехарактерные для живой речи.

Как LSI-фразы и синонимы влияют на оценку качества текста?

LSI-фразы, которые семантически связаны с основной темой, расширяют семантику и показывают алгоритмам, что текст действительно соответствует теме. По LSI-фразам не только оценивается качество, но и идёт ранжирование – например, пользователи сами могут искать синонимы, вместо основного ключа.

Как Google использует частоту фраз для оценки качества сайта?

Алгоритм Гугла сопоставляет частоту ключей в документе с типичным распределением по теме. Отклонение от нормы сигнализирует о спаме или недостаточной оптимизированности.

Обе ситуации – недостаток или избыток ключей, являются проблемой. В первом случае страница не выйдет в ТОП из-за недооптимизации, а во втором может не попасть в ТОП или вылететь из-за манипуляций с выдачей.

Может ли уникальный, но заспамленный текст ранжироваться в Google?

Уникальность – важный критерий для оценки качества текста, но не единственный. Если текст неестественный и перегружен ключами, то даже при 100% уникальности у него могут быть проблемы. Google оценивает страницы по совокупности факторов, а не по одному единственному.

Как Google вычисляет заспамленность текста и понижает сайты

Google вычисляет заспамленность текста через комбинацию нескольких механизмов:

• Анализ текста (лексики и LSI-фраз)
• Применение статистических моделей для сравнения
• Оценка поведенческих факторов

Алгоритмы поисковой системы уже давно вышли за пределы “подсчета ключевых слов”. Сегодня поисковик анализирует естественность и смысловую целостность текста. При этом проблема переспама никуда не ушла – но контент с такими проблемами не пройдет проверку сразу по целому ряду факторов, в том числе и по поведенческим показателям. Людям неудобно пользоваться текстами, созданными только для роботов, поэтому Google редко выводит подобное в ТОП.

Понимание принципов работы Google, описанных в патентах US8554769B1 и US9767157B2, поможет создавать контент, который нравится и пользователям, и поисковым алгоритмам. Также не стоит забывать про алгоритмы Panda и Penguin, которые, несмотря на свой “почтенный возраст”, всё ещё актуальны и могут быть причиной проблем на сайте.