Meta представила SAM 2: новая модель сегментации объектов для видео и изображений
Марк Цукерберг анонсировал выпуск новой модели сегментации объектов SAM 2, которая поддерживает работу как с изображениями, так и с видео. В отличие от предыдущей версии, SAM 2 способна выполнять сегментацию объектов в реальном времени и может быть использована для создания новых видеоэффектов, ускорения аннотирования визуальных данных и других приложений без необходимости адаптации под конкретные задачи.
Одним из ключевых аспектов SAM 2 является её способность к сегментации объектов, которых модель ранее не видела, что позволяет использовать её в самых разных визуальных областях. SAM 2 была создана на основе нового датасета SA-V, включающего около 51 000 реальных видео и более 600 000 аннотаций объектов.
Открытый исходный код и весовые параметры модели, предоставлены под лицензией Apache 2.0, а также есть наглядная веб-демонстрация, где каждый может попробовать возможности новой модели в действии. SAM 2 поддерживает интерактивную сегментацию объектов в любом кадре видео, что упрощает и ускоряет процесс аннотирования данных.
Первоначальная версия модели SAM, представленная год назад, уже нашла широкое применение в различных областях. Она используется для создания эффектов в приложениях Meta*, таких как Instagram*, а также в научных исследованиях, медицине и других индустриях. Новая версия SAM 2 обещает ещё больше возможностей благодаря улучшенной точности и скорости работы.
По словам Марка Цукерберга, открытый исходный код ИИ может существенно повысить производительность, креативность и качество жизни, ускоряя экономический рост и продвижение научных исследований. SAM 2, как ожидается, станет важным инструментом для разработки новых систем компьютерного зрения, таких как автономные транспортные средства, и для научных исследований, например, в области отслеживания движения животных или анализа медицинских изображений.
Команда Meta* продолжает работу над улучшением модели и датасетов, стремясь к дальнейшему развитию технологий сегментации объектов. В будущем SAM 2 может быть использована в различных областях, от создания контента до научных исследований, предлагая новые возможности для взаимодействия с визуальными данными.
* Meta, Facebook и Instagram - запрещены на территории России.