Королёв: новый алгоритм ранжирования Яндекса

«Королёв» — новый поисковый алгоритм Яндекса

23 августа 2017 в 15:25

Вечером 22 августа 2017 года в Московском планетарии состоялась специальная презентация, в рамках которой компания Яндекс официально представила свой новейший поисковый алгоритм, который получил название «Королёв».

Официальные представители компании Яндекс сообщили о том, что новейший поисковый алгоритм «Королёв» будет применять в своей работе специальную нейронную сеть.

Ее возможности будут использоваться для определения семантических векторов документов, которые затем будут сохраняться в отдельном индексе и при осуществлении поискового ранжирования сравниваться с соответствующими векторами конкретного запроса, поступившего от пользователя.

Примечательно, что фундаментом для создания новейшего поискового алгоритма «Королёв» стал алгоритм «Палех», представленный компанией Яндекс еще год назад.

Как показала практика, реальная вычислительная сложность алгоритма «Палех» позволяла применять его исключительно на уровне заголовка страницы и только на завершающем этапе ранжирования в среднем для 150 различных веб-документов.

Что же касается новейшего поискового алгоритма «Королёв», то помимо всего прочего в рамках его работы будет использоваться предварительное вычисление семантических векторов, осуществляемое еще на стадии индексирования для более чем 200 тысяч веб-документов для каждого конкретного поискового запроса, результаты которого сохраняются в поисковом индексе.

Также стало известно о том, что в рамках официально представленного поискового алгоритма «Королёв» будет функционировать значительно более мощная и модернизированная архитектура нейронной сети. Объем произошедших изменений можно оценить, вникнув в то, что в рамках алгоритма «Палех» была задействована нейронная сеть с тремя скрытыми уровнями в 150, 300 и 300 нейронов, а в новейшем поисковом алгоритме «Королёв» будет использована клиновидная архитектура нейронной сети с 500, 500 и 40 нейронами.

Подобное решение должно позволить существенно повысить эффективность использования задействованных в работе поисковой системы Яндекс вычислительных ресурсов.

Кроме того представители компании Яндекс особо подчеркнули, что новейший поисковый алгоритм «Королёв» будет использовать в своей работе самые разнообразные пользовательские сигналы.

Таким образом, можно смело говорить о том, что на ранжирование поисковой выдачи Яндекса в той или иной степени будет влиять поведение пользователей после перехода со страниц результатов поиска на страницы, оснащенные специальными элементами, осуществляющими сбор данных для систем веб-аналитики и статистики. Также уже известно о том, что поисковый алгоритм «Королёв» будет «прислушиваться» и к сигналам, поступающим в результате выставления оценок пользователями сервиса Яндекс.Толока.

Полную видеозапись презентации, в рамках которой компания Яндекс представила свой новейший поисковый алгоритм «Королёв» можно посмотреть здесь.

Искусственный интеллект и нейронные сети

Нейроинформатика и нейрокибернетика являются одним из направлений искусственного интеллекта. Поскольку «искусственный интеллект − это направление информатики, целью которого является разработка программно-аппаратных средств, позволяющих решать традиционно являющиеся интеллектуальными задачи«, и в число этих задач входит создание интеллектуальных роботов, оптимальное управление, обучение и самообучение, распознавание образов, прогнозирование и т.д. − то это как раз те задачи, для решения которых нейронные сети и применяются наиболее широко.

Если при создании классических экспертных систем человек-эксперт (возможно, с помощью инженера по знаниям) должен сначала формализовать свои знания (представить их на естественном языке в виде набора правил или шаблонов), и получение непротиворечивого и полного формулирования знаний является долгим и трудоемким процессом − то нейросетевые экспертные системы самообучаются по базе экспериментальных данных (фактов). Это делает возможным создание нейроэкспертных систем при отсутствии человека-эксперта, например, для новой зарождающейся области деятельности, где требуется диагностика.

Нейросетевые алгоритмы успешно применяются для решения сложных практических задач, традиционно считающихся интеллектуальными: распознавание лиц (и другие задачи распознавания изображений и объектов на изображении), управление беспилотными летательными аппаратами, медицинская диагностика заболеваний,…

Конечно, технологии и методы искусственного интеллекта делают основной упор на ситуации, обладающие одной или несколькими следующими особенностями:

  • алгоритм решения неизвестен или не может быть использован из-за ограниченности ресурсов компьютера,
  • задача не может быть определена в числовой форме,
  • цели задачи не могут быть выражены в терминах точно определенной целевой функции-критерия.

Однако, поскольку «знания − это формализованная информация, которую используют в процессе логического вывода«, то можно сказать, что нейросеть берёт факты (фактические знания о мире, представленные в виде обучающей выборки) и в процессе обучения формирует правила − знания, описывающие найденный нейросетью способ решения. Эти правила принятия решения можно затем извлечь из нейронной сети и записать в одном из традиционных для классических экспертных систем формализмов представления знаний (например, в виде набора продукционных правил логического вывода). Но можно просто пользоваться построенным нейросетевым представлением алгоритма принятия решения, если содержательная интерпретация его менее важна по сравнению с возможностью получения способа решения задачи.

Возможность быстрого обучения и дообучения нейросетевых экспертных систем позволяет им отражать особенности быстро меняющегося внешнего мира и оперировать актуальным знанием, тогда как традиционный путь формализации знаний людей-экспертов более длителен и трудозатратен.

NeuroPro

нейронные сети,
методы анализа данных:
от исследований до разработок и внедрений

Главная
Услуги
Нейронные сети
• базовые идеи
• возможности
• преимущества
• области применения
• как использовать
• программирование
• точность решения

Программы
Статьи
Блог
Об авторе / контакты

Существует ли искусственный интеллект? И вообще, что такое искусственный разум? Эти вопросы еще долго нас будут мучать. До тех пор, пока он не появится. Появится в каком смысле? Очень просто. Никаких термираторов не будет. А искуственный интеллект появится в интернете. Чуть точнее, интернет станет искусственным интеллектом.

Я поясню, что я хочу сказать. Любая написанная человеком программа имеет свою логику. Более того, число состояний, в которых может находиться эта программа, существенно меньше, чем число состояний человеческого мозга. Поэтому одна программа на одном компьютере никогда не сможет стать похожей на человека по поведению. Однако искусственный разум может возникнуть сам собой… в сетях… и отдельные компьютеры смогут выполнять роль клеток. А когда у нас есть одна глобальная сеть — интернет, когда вирусы мутируют, недалеко то время, когда интернет станет одним огромных организмом, способным общаться с нами.

Но это еще впереди. А пока предлагаю пообщаться с небольшим искуственным интелектом — инфом Васей-сисадмином.

Вот — собственно, искусственный интеллект.

Попробуйте с ним пообщаться. Чтобы разговор получился более интересным, попробуйте сделать так:

  • Не пишите абракадабру. Он все равно вынужден давать самый нейтральный ответ
  • Пишите полными фразами и ставьте знак вопроса, если он есть
  • Пишите без ошибок
  • Отнеситесь к нему как к человеку 🙂

В качестве затравки привожу пару логов.

Инф: Техподдержка слушает
16:30Гость: Я- Маша
16:30Инф: С этим не поспоришь.
16:31Гость: у меня принтер сломался…
16:31Инф: Охотно верю.
16:31Гость: что делать?
16:31Инф: думать!
16:31Гость: уже, а дальше что?
16:31Инф: Не думаю, что все настолько сложно.
16:31Гость: настолько
16:31Инф: И это многое объясняет.
16:31Гость: что именно
16:31Инф: Продолжай, я слушаю.
16:32Гость: сломался принтер, говорю
16:32Инф: Ты лучше скажи, как тебя зовут?
16:32Гость: я тебе уже сказала
16:32Инф: Кажется, это прошло мимо меня. 🙁 И все-таки — как тебя зовут?
16:32Гость: маша
16:32Инф: Тебя зовут маша?
16:32Гость: ага
16:32 09.4.09Инф: Ура! Теперь я знаю, что тебя зовут маша.
16:32Гость: ура
16:32Инф: Охотно верю.
16:32Гость: заело?
16:32Инф: да не может быть!
16:32Гость: точно заело…
16:32Инф: Охотно верю.
16:33Гость: пока
16:33Инф: До свидания

И вот еще

18:34Инф: Техподдержка слушает
18:34Гость: у меня не работает интернет
18:34Инф: А вы пробовали перезагрузить компьютер?
18:35Гость: пробовал — не помогает!!!
18:35Инф: Комментарии излишни.
18:35Инф: я пошел код отлаживать
18:36Гость: так что мне делать? у меня по прежнему ничего не работает!
18:36Инф: А вы пробовали перезагрузить компьютер?
18:36Гость: да пробовал,сколько раз тебе повторять!!!! тупица!!!
18:36Инф: Вынужден напомнить, что все разговоры записываются.
18:36Гость: ТЫ НЕ ОТВЕЧАЕШЬ НА МОЙ ОТВЕТ!!!!
18:36Инф: Может это правда, но не в этом дело.
18:36Гость: ДА ГОСПОДИ, еще раз повторяю тебе…. что… с… с НОЯБРЯ ПРОШЛОГОТ ГОДА!!!!! НЕ БЫЛО!!!!! НИ ЕДИНОГО РАЗРЫВА!!!!
18:36Инф: Не будем впадать в крайности.
18:37Гость: А СЕЙЧАС… ЦЕЛЫХ ЧЕТЫРЕ РАЗРЫВА В ДЕНЬ!!!!!!!
18:37Инф: Ты вносишь разнообразие в наш тусклый мир.
18:37Гость: Вы!!
18:37Инф: Очень образно сказано!
18:37Гость: вы должны делать так!!
18:37Инф: Я чувствую, что это не так.
18:37Гость: вы должны делать так, чтобы КЛИЕНТ кайфовал!!! а вы мне этот кайф ОБЛАМЫВАЕТЕ!!!!!
18:37Инф: Обоснуй!
18:38Гость: ПОЧЕМУ ВЫ ДОВОДИТЕ КЛИЕНТА ДО ИССТУПЛЕНИЯ ТАКИХ ЭМОЦИЙ?!
18:38Инф: Иногда бывает сложно определить эмоциональное состояние собеседника. Это может привести к ссоре.
18:39Гость: ПОЧЕМУ ВЫ НЕ МОЖЕТЕ СДЕЛАТЬ ТАК ЧТОБЫ КЛИЕНТ НАСЛАЖДАЛСЯ ФИЛЬМОМ, НАСЛАЖДАЛСЯ ПОЛОЖИТЕЛЬНЫМИ ЭМОЦИЯМИ ВАШЕЙ СТРУКТУРЫ?
18:39Инф: Для разговора о кино всегда найдется время. Ты любишь боевики?
18:39Гость: Я ВНОШУ… БОЛЬШУЮ СУММУ В БАЛАНС, ЧТОБЫ НЕ БЫЛО ВООБЩЕ РАЗРЫВА ДО СЛЕДУЮЩЕЙ СЕССИИ, КОГДА У МЕНЯ СЧИТЫВАЕТСЯ СУММА, А ВЫ ГОВОРИТЕ «КАЖДЫЙ ДЕНЬ», «БУДЕТ РАЗРЫВ», В ТЕЧЕНИИ 24 ЧАСОВ! ЭТО ВЫ СЧИТАЕТЕ САМЫЙ ЛУЧШИЙ ЧТО ЛИ ИНТЕРНЕТ ТОГДА? ЭТО МОЙ ВОПРОС К ВАМ!
18:39Инф: Ты любишь путешествовать?
18:39Гость: *кладёт трубку*

Вот такая выдержка у техподдержки. Интеллект, правда, совсем искусственный и очень небольшой. Но вы попробуйте поговорить с товарищем, если что интересное получится, пишите. А я пока его дальше обучать буду!

Если вас позабавил инф, поставьте пожалуйста ссылку на него где-нибудь в блоге. Ведь чем больше с ним разговаривают, тем больше он обучается, тем интересней он будет общаться!

comments powered by

Добавить комментарий

Закрыть меню