22 августа 2017 года «Яндекс» запустил поисковый алгоритм «Королёв», позволяющий искать не только по ключевым словам, но и по смыслу. Возникает вопрос: нужно ли по-прежнему составлять семантическое ядро или теперь можно просто наобум штамповать тексты, близкие к тематике сайта?
Расходы сил, времени и денег на составление семантического ядра окупаются не у всех (особенно если ядро разработать, но потом не использовать — что не так уж редко случается в малом бизнесе). Поисковая технология «Королёв» может внушить кому-то надежду, что собирать и группировать ключевые фразы для сайта больше не надо.
Что такое нейросеть
«Нейросеть» или «искусственная нейронная сеть» – это попытка воспроизвести (например, с помощью компьютерной программы) нервную систему человека, с её способностью обучаться и исправлять ошибки.
Такая сеть состоит из искусственных нейронов, имеющих несколько входов и один выход, и соединённых с другими нейронами. В зависимости от того, какой набор данных поступает на входы, возникает различный результат на выходе, вычисляемый по определённым формулам.
Нейронную сеть обучают, подавая на входы данные для обучения и сравнивая результаты с правильными. Если результаты далеки от верных, то по специальной формуле корректируется степень важности данных на разных входах. Обучение и коррекция повторяются, пока ошибка не достигнет приемлемого или нулевого уровня.
Это очень грубое описание, но, надеюсь, оно даёт некоторое представление.
Что такое семантическое ядро
Семантическое ядро – набор слов и ключевых фраз, которые отражают тематику сайта и его разделов.
Словосочетание “семантическое ядро” можно было бы заменить более понятным “смысловое ядро”, поскольку семантика – это раздел лингвистики, изучающий смысловую составляющую языковых единиц (фраз, слов и даже их составных частей).
Семантическое ядро составляется, в первую очередь, на основе реальных запросов интернет-пользователей.
С позиции предпринимателя оно играет ту же роль, что маркетинговые опросы в офлайне: позволяет узнать, что именно, как и почём хочет аудитория.
Что такое алгоритм “Королёв”
Суть поисковой технологии “Королёв” в том, что нейронные сети позволяют искать не только по ключевым фразам, но и по смыслу этих фраз. Страницы сайтов тоже анализируются не только на ключевые слова, но и по смыслу.
Особенно это полезно, когда пользователь и сам не знает, как уточнить запрос (“фильм где девушка не выходит из дома”, “мультик где дедушка улетел на воздушных шарах”), и поэтому оперирует образами или многословными комментариями.
Как работает “Королёв”
В “Яндексе” говорят, что ежедневно пользователи вводят по 100 миллионов поисковых запросов, которые никогда или почти никогда не повторяются. Чтобы поисковая система могла понять такие запросы и найти на них ответы, как раз и используют нейросеть.
Анализируя миллиарды живых примеров (поступающих от пользователей поиска, а также от сотрудников “Яндекса”), система находит закономерности и выявляет ошибки, что и позволяет ей выдавать осмысленные ответы даже на очень редкие запросы. Это ценная штука, потому что редких (не повторяющихся) запросов сейчас не меньше 30%, и есть вероятность, что с дальнейшим распространением голосового поиска их будет всё больше (а запросов старого типа, вроде “война и мир фильм смотреть онлайн”, – всё меньше).
Такая система устроена намного сложнее, чем прежние версии поиска, при этом каждый из миллионов пользователей вносит вклад в обучение нейросети. Если с какими-то запросами “Яндекс” сейчас справляется не очень хорошо, это ничего не значит: всё может быстро измениться.
Описание технологии простым языком + видео от “Яндекса”.
Описание сложным языком от представителя “Яндекса”.
Значит ли это, что семантическое ядро больше не нужно
Процитирую представителя “Яндекса”:
«Королёв» – это не одна конкретно взятая модель, а целый комплект технологий более глубокого применения нейронных сетей в поиске Яндекса. Это еще один важный шаг в сторону будущего, в котором Поиск будет ориентироваться на семантическое соответствие запросов и страниц не хуже, чем человек. Или даже лучше.
Давайте разложим по полочкам.
- Семантическое ядро – это “смысловое ядро”, фразы, отражающие общий смысл сайта, его страниц и разделов.
- Семантическое ядро основывается на том, что и как ищут люди в Интернете.
- Из того, что именно и в каких выражениях ищут люди, складывается картина потребностей аудитории.
- Сайт наполняют таким образом, чтобы его страницы (как информационные, так и коммерческие) способствовали удовлетворению выявленных потребностей аудитории.
- Для этого при подготовке контента, помимо прочего, используются легко узнаваемые клиентами фразы из семантического ядра, по которым клиентам будет проще понять, что они нашли именно то, что искали.
- “Королёв” – это шаг к тому, чтобы найти страницы, не только буквально соответствующие запросам, но и отвечающие по смыслу.
- Очевидно, что “смысловое ядро” никак не мешает “поиску по смыслу”. И то, и то имеет дело со смысловой составляющей.
Плохие новости здесь только для тех, кто считает, что семантическое ядро нужно, чтобы “найти и раскидать ключевые фразы по сайту для лучшей посещаемости”. А на самом деле нужно думать о смысле и заботиться об аудитории.
Поэтому разрабатывайте семантическое ядро и не забывайте его регулярно обновлять и расширять.