Яндекс встроил гибридный поиск в базу YDB
YDB это распределённая база данных Яндекса, на которой работают сервисы самой компании и внешних заказчиков. Гибридный поиск появился в ней первым среди российских баз данных. Технология рассчитана на команды, которые собирают ИИ-продукты и рекомендательные системы и вынуждены держать поиск отдельно от хранилища.
Зачем совмещать два вида поиска
Почти любой запрос в современном ИТ-продукте требует сразу двух механизмов. Полнотекстовый ищет по точному совпадению символов, векторный понимает смысл формулировки. Гибридный объединяет оба и закрывает запрос целиком.
Пример из релиза. Страховой юрист ищет «выплаты по полису 7702-345678 при переносе рейса». Номер полиса нужно найти слово в слово, а описание случая понять по смыслу. Векторный поиск в одиночку пропускает точные термины, номера документов и специфические коды. Полнотекстовый не догадается, что «сбой в системе» и «ошибка в работе ПО» означают одно и то же.
«Гибридный поиск объединяет оба подхода и помогает ИИ-ассистентам давать точные ответы даже на неоднозначные запросы или вопросы с технической терминологией. В YDB мы встроили его прямо в базу данных, оба индекса находятся рядом с данными и обновляются вместе с ними в одной транзакции»,
- пояснил Андрей Фомичев, технический директор YDB.
Одна база вместо трёх систем
Гибридный поиск в YDB работает «из коробки». Компании не нужно поддерживать три отдельные системы, а именно основную базу данных, поисковый движок и векторную базу, оплачивать отдельные лицензии и синхронизировать данные между ними. Документы, тикеты, карточки товаров и диалоги лежат в одной базе, поиск работает со всеми типами данных одновременно.
Техническая основа знакомая по прежним версиям YDB. Это распределённые таблицы, которые автоматически масштабируются и обновляются транзакционно. Главной инженерной задачей было правильно объединить и ранжировать результаты двух видов поиска. YDB заявлена как соответствующая требованиям информационной безопасности крупных компаний.
Кому доступна технология
Гибридный поиск уже включён в enterprise-редакцию YDB версии 26.3. Работает в двух вариантах, на собственных серверах заказчика и в облачном сервисе Managed Service for YDB. Отдельного срока для других редакций компания не называет.
Заявленные сценарии касаются в первую очередь рекомендательных систем маркетплейсов и соцсетей, а также чат-ботов и других ИИ-продуктов. Для владельца интернет-магазина это выглядит так. Поиск по каталогу находит товар и по артикулу, и по расплывчатому описанию вроде «куртка как у того блогера», не требуя держать рядом отдельную векторную базу.
Рынок гибридного поиска растёт
По данным Grand View Research, к 2028 году глобальный рынок векторного и гибридного поиска может составить от 2 до 4 миллиардов долларов. Оценка широкая, и это скорее ориентир по порядку цифр, чем точный прогноз.
На фоне зарубежных баз данных с похожими функциями YDB выделяется не набором возможностей, а встроенностью в один продукт. Postgres с расширением pgvector и специализированные векторные базы вроде Pinecone требуют отдельной сборки и синхронизации. Здесь оба индекса обновляются в одной транзакции с данными, и это главный аргумент для команд, уставших сводить хранилище с поиском вручную.
Проверить заявление о «коробке» можно на своей схеме данных. Если после включения гибридного поиска выдача по номерам документов и по смысловым запросам не потребует ручной настройки ранжирования, обещание подтвердится. Пока технология доступна только в enterprise-редакции, небольшие команды остаются в стороне.
