Хотите более умное понимание в вашем почтовом ящике? Подпишитесь на наши еженедельные информационные бюллетени, чтобы получить только то, что имеет значение для искусственного интеллекта предприятия, данных и лидеров безопасности. Подписаться сейчас
Google официально перенесла свою новую высокопроизводительную модель Близнецов Близнецов в общую доступность, в настоящее время занимая номер один в общем зачете по высоко оцененному массивному тканину встроенного текста (MTEB). Модель (Gemini-Embedding-001) в настоящее время является основной частью API и API Gemini и Vertex, что позволяет разработчикам создавать такие приложения, как семантическое поиск и поколение поиска (RAG).
В то время как рейтинг номер один является сильным дебютом, ландшафт моделей встраивания очень конкурентоспособен. Собственная модель Google подвергается непосредственно мощным альтернативам с открытым исходным кодом. Это создает новый стратегический выбор для предприятий: принять высокопоставленную собственную модель или почти хорошего претендента с открытым исходным кодом, который предлагает больше контроля.
Что находится под капотом модели встраивания Близнецов Google
В своей основе встроения конвертируют текст (или другие типы данных) в числовые списки, которые отражают ключевые функции ввода. Данные с аналогичным семантическим значением включают значения, которые ближе друг к другу в этом численном пространстве. Это позволяет использовать мощные приложения, которые выходят далеко за рамки простого сопоставления ключевых слов, таких как создание интеллектуальных систем для получения аугментирования (RAG), которые подают соответствующую информацию для LLMS.
Внедрения также могут применяться к другим методам, таким как изображения, видео и аудио. Например, компания электронной коммерции может использовать мультимодальную модель встраивания для создания единого численного представления для продукта, который включает в себя как текстовые описания, так и изображения.
Для предприятий модели встраивания могут питать более точные внутренние поисковые системы, сложные кластеризации документов, задачи классификации, анализ настроений и обнаружение аномалий. Внедрения также становятся важной частью агентских приложений, где агенты искусственного интеллекта должны получить и соответствовать различным типам документов и подсказок.
Одной из ключевых особенностей встраивания Близнецов является его встроенная гибкость. Он был обучен с помощью техники, известной как Matryoshka Represtion Learning (MRL), которая позволяет разработчикам получить очень подробное 3072-мерное встраивание, но также усекает его до меньших размеров, таких как 1536 или 768, сохраняя при этом свои наиболее важные особенности. Эта гибкость позволяет предприятию набрать баланс между точностью модели, производительностью и затратами на хранение, что имеет решающее значение для эффективного масштабирования приложений.
Позиции Google Близнецы внедряют в качестве единой модели, предназначенной для эффективной работы «вне коробки» в разных областях, таких как финансы, юридические и инженерии без необходимости точной настройки. Это упрощает разработку для команд, которые нуждаются в решении общего назначения. Поддерживая более 100 языков и конкурентоспособную цену на уровне 0,15 долл. США за миллион входных токенов, он предназначен для широкой доступности.
Конкурентная ландшафт проприетарных и открытых претендентов
Таблица лидеров MTEB показывает, что, хотя Близнецы ведет, разрыв узкий. Он сталкивается с установленными моделями от OpenAI, чьи модели встраивания широко используются, и специализированные претенденты, такие как Мистраль, которая предлагает модель специально для поиска кода. Появление этих специализированных моделей предполагает, что для определенных задач целевой инструмент может превзойти универсальный.
Другой ключевой игрок, Cohere, нацелен на предприятие непосредственно с помощью модели Embed 4. В то время как другие модели конкурируют за общие критерии, Cohere подчеркивает способность своей модели обрабатывать «шумные данные реального мира», часто встречающееся в документах предприятия, такие как орфографические ошибки, проблемы форматирования и даже отсканированный почерк. Он также предлагает развертывание на виртуальных частных облаках или локальном уровне, обеспечивая уровень безопасности данных, который напрямую обращается к регулируемым отраслям, таким как финансы и здравоохранение.
Наиболее прямой угрозой для доминирования в проприетарном доминировании исходит от сообщества с открытым исходным кодом. Модель Alibaba-Embedding Rings сразу же за Gemini на MTEB и доступна по разрешающей лицензии Apache 2.0 (доступна для коммерческих целей). Для предприятий, посвященных разработке программного обеспечения, Qodo-Embed-1-1.5b представляет собой еще одну убедительную альтернативу с открытым исходным кодом, разработанную специально для кода и претендовать на более крупные модели на контрольных показателях, специфичных для домена.
Для компаний, которые уже создают Google Cloud и семейство моделей Gemini, внедрение нативной модели встраивания может иметь несколько преимуществ, включая бесшовную интеграцию, упрощенный трубопровод MLOPS и гарантирование использования модели общего назначения в высшей степени.
Тем не менее, Близнецы-это закрытая модель только API. Предприятия, которые определяют приоритеты суверенитета данных, контроль затрат или способность запускать модели на своей собственной инфраструктуре, теперь имеют достоверную, высшую опцию с открытым исходным кодом в QWEN3-стимулировании или могут использовать одну из моделей внедрения, специфичных для задачи.
Источник
