Семантическое ядро и алгоритм «Королёв»

22 августа 2017 года «Яндекс» запустил поисковый алгоритм «Королёв», позволяющий  искать не только по ключевым словам,  но и по смыслу. Возникает вопрос: нужно ли по-прежнему составлять семантическое ядро для сайта или теперь достаточно ударно штамповать тексты по тематике сайта?
Theme Builder Layout

Владислав Путников

23.08.2017
"

Читать

22 августа 2017 года «Яндекс» запустил поисковый алгоритм «Королёв», позволяющий  искать не только по ключевым словам,  но и по смыслу. Возникает вопрос: нужно ли по-прежнему составлять семантическое ядро или теперь можно просто штамповать тексты, близкие к тематике сайта?

Расходы сил, времени и денег на составление семантического ядра окупаются не у всех — особенно если ядро разработать, но потом не использовать. Поисковая технология «Королёв» может внушить кому-то надежду, что собирать и группировать ключевые фразы для сайта больше не надо.

Что такое нейросеть

«Нейросеть» или «искусственная нейронная сеть»  — это попытка воспроизвести (например, с помощью компьютерной программы) нервную систему человека, с её способностью обучаться и исправлять ошибки.

Такая сеть состоит из искусственных нейронов, имеющих несколько входов и один выход, и соединённых с другими нейронами. В зависимости от того, какой набор данных поступает на входы, возникает различный результат на выходе, вычисляемый по определённым формулам.

Нейронную сеть обучают, подавая на входы данные для обучения и сравнивая результаты с правильными. Если результаты далеки от верных, то по специальной формуле корректируется степень важности данных на разных входах. Обучение и коррекция повторяются, пока ошибка не достигнет приемлемого или нулевого уровня.

Это очень грубое описание, но, надеюсь, оно даёт некоторое представление.

Что такое семантическое ядро

Семантическое ядро — набор слов и ключевых фраз, которые отражают тематику сайта и его разделов.

Словосочетание «семантическое ядро» можно было бы заменить более понятным «смысловое ядро», поскольку семантика — это раздел лингвистики, изучающий смысловую составляющую языковых единиц (фраз, слов и даже их составных частей).

Семантическое ядро составляется, в первую очередь, на основе реальных запросов интернет-пользователей.

С позиции предпринимателя оно играет ту же роль, что маркетинговые опросы в офлайне: позволяет узнать, что именно, как и почём хочет аудитория.

Что такое алгоритм «Королёв»

Суть поисковой технологии «Королёв» в том, что нейронные сети позволяют искать не только по ключевым фразам, но и по смыслу этих фраз. Страницы сайтов тоже анализируются не только на ключевые слова, но и по смыслу.

Особенно это полезно, когда пользователь и сам не знает, как уточнить запрос («фильм где девушка не выходит из дома», «мультик где дедушка улетел на воздушных шарах»), и поэтому оперирует образами или многословными комментариями.

Как работает «Королёв»

В «Яндексе» говорят, что ежедневно пользователи вводят по 100 миллионов поисковых запросов, которые никогда или почти никогда не повторяются. Чтобы поисковая система могла понять такие запросы и найти на них ответы, как раз и используют нейросеть.

Анализируя миллиарды живых примеров (поступающих от пользователей поиска, а также от сотрудников «Яндекса»), система  находит закономерности и выявляет ошибки, что и позволяет ей выдавать осмысленные ответы даже на очень редкие запросы. Это ценная штука, потому что редких (не повторяющихся) запросов сейчас не меньше 30%, и есть вероятность, что с дальнейшим распространением голосового поиска их будет всё больше (а запросов старого типа, вроде «война и мир фильм смотреть онлайн», — всё меньше).

Такая система устроена намного сложнее, чем прежние версии поиска, при этом каждый из миллионов пользователей вносит вклад в обучение нейросети. Если с какими-то запросами «Яндекс» сейчас справляется не очень хорошо, это ничего не значит: всё может быстро измениться.

Описание технологии простым языком + видео от «Яндекса».

Описание сложным языком от представителя «Яндекса».

Значит ли это, что семантическое ядро больше не нужно

Процитирую представителя «Яндекса»:

«Королёв» – это не одна конкретно взятая модель, а целый комплект технологий более глубокого применения нейронных сетей в поиске Яндекса. Это еще один важный шаг в сторону будущего, в котором Поиск будет ориентироваться на семантическое соответствие запросов и страниц не хуже, чем человек. Или даже лучше.

Давайте разложим по полочкам.

  1. Семантическое ядро — это «смысловое ядро», фразы, отражающие общий смысл сайта, его страниц и разделов.
  2. Семантическое ядро основывается на том, что и как ищут люди в Интернете.
  3. Из того, что именно и в каких выражениях ищут люди, складывается картина потребностей аудитории.
  4. Сайт наполняют таким образом, чтобы его страницы (как информационные, так и коммерческие) способствовали удовлетворению выявленных потребностей аудитории.
  5. Для этого при подготовке контента, помимо прочего, используются легко узнаваемые клиентами фразы из семантического ядра, по которым клиентам будет проще понять, что они нашли именно то, что искали.
  6. «Королёв» — это шаг к тому, чтобы найти страницы, не только буквально соответствующие запросам, но и отвечающие по смыслу.
  7. Очевидно, что «смысловое ядро» никак не мешает «поиску по смыслу». И то, и то имеет дело со смысловой составляющей.

Плохие новости здесь только для тех, кто считает, что семантическое ядро нужно, чтобы «найти и раскидать ключевые фразы по сайту для лучшей посещаемости». А на самом деле нужно думать о смысле и заботиться об аудитории.

Поэтому разрабатывайте семантическое ядро и не забывайте его регулярно обновлять и расширять.