Amazon запустила S3 Vectors — облачное хранилище векторных данных для ИИ

Новый сервис позволяет сократить затраты на хранение и обработку до 90% и открывает широкие возможности для создания приложений на основе генеративного ИИ.

Компания Amazon Web Services (AWS) анонсировала запуск Amazon S3 Vectors — облачного решения для масштабного хранения и высокоскоростного поиска векторных данных. Новый сервис, представленный на AWS Summit в Нью-Йорке, ориентирован на разработчиков, работающих с неструктурированными данными и системами искусственного интеллекта.

S3 Vectors доступен в режиме предварительного просмотра и уже открыт для использования в нескольких регионах, включая США, Европу и Австралию.

Что такое векторные данные и зачем они нужны

Векторные представления используются в ИИ для описания текстов, изображений, видео и других неструктурированных объектов. Они позволяют искать не по ключевым словам, а по смыслу — это основа таких технологий, как семантический поиск, рекомендательные системы и Retrieval-Augmented Generation (RAG).

До сих пор масштабное хранение и поиск по векторам требовали отдельной инфраструктуры — специализированных баз данных, управляемых вручную. S3 Vectors решает эту задачу «из коробки», предоставляя удобные API и возможность хранить миллиарды векторов в привычной среде Amazon S3.

Как работает Amazon S3 Vectors

Новая архитектура S3 Vectors основана на двух компонентах:

Векторные корзины — аналог обычных «бакетов» в S3, адаптированный для векторных данных;
Индексы векторов — структуры, позволяющие хранить и искать по десяткам миллионов векторов.

Каждый индекс настраивается по размерности векторов и метрике (например, косинусное расстояние или евклидова метрика). Пользователь может добавлять к векторам метаданные — это облегчает фильтрацию по дате, категории или другим параметрам. Запросы выполняются менее чем за секунду, даже при больших объёмах данных.

«S3 Vectors автоматически оптимизирует хранение, обеспечивая баланс между стоимостью и производительностью»,

— говорится в официальном блоге AWS.

Интеграции и возможности для ИИ-разработчиков

S3 Vectors тесно интегрирован с другими сервисами Amazon:

Amazon Bedrock : возможность выбора S3 Vectors в качестве хранилища знаний для RAG‑приложений;
Amazon SageMaker Unified Studio : использование в процессе обучения и отладки моделей;
Amazon OpenSearch Service : экспорт векторов для высокоскоростной обработки в реальном времени.

Таким образом, разработчики могут использовать S3 Vectors как универсальный уровень долговременного хранения, сохраняя активные данные в более быстрых системах при необходимости.

Где это уже применяется

Векторные хранилища становятся важной частью ИИ-инфраструктуры в самых разных сферах:

Медицина : поиск схожих медицинских изображений по семантике;
Медиа и стриминг : анализ контента и персонализированные рекомендации;
Образование : построение диалоговых агентов с долговременной памятью;
Бизнес : интеллектуальный поиск в документации и архивах.

Amazon позиционирует S3 Vectors как решение, доступное не только корпорациям, но и стартапам, которым важно быстро масштабироваться без избыточных затрат на инфраструктуру.