NVLM 1.0 от NVIDIA: Мощная альтернатива GPT-4o с впечатляющими результатами

Компания NVIDIA представила новое семейство мультимодальных моделей NVLM (NVIDIA Vision Language Model), которые обеспечивают выдающиеся результаты в ряде визуальных и языковых задач. Семейство включает три основные модели: NVLM-D (модель только для декодера), NVLM-X (модель X-аттеншн) и NVLM-H (гибридная модель), каждая из которых доступна в конфигурациях с 34 и 72 миллиардами параметров.

Одной из ключевых особенностей моделей является их способность эффективно справляться с визуальными задачами. В тесте OCRBench, проверяющем способность распознавать текст с изображений, модель NVLM-D превзошла GPT-4o от OpenAI, что является важным прорывом в области мультимодальных решений. Более того, модели способны понимать мемы, разбирать человеческий почерк и отвечать на вопросы, требующие точного анализа расположения объектов на изображениях.

NVLM также хорошо справляются с математическими задачами, где они превосходят модели Google и всего на три балла отстают от лидера, модели Claude 3.5, разработанной стартапом Anthropic.

Каждая из трех моделей имеет свои особенности.

• NVLM-D использует предварительно обученный кодер и двухслойный перцептрон, что делает ее экономически эффективной, но требует больше ресурсов GPU.
• NVLM-X использует механизм перекрестного внимания, который лучше справляется с изображениями высокого разрешения.
• NVLM-H сочетает в себе преимущества обеих моделей, обеспечивая баланс между эффективностью и точностью.​

NVIDIA продолжает укреплять свои позиции в области искусственного интеллекта, предлагая решения, которые могут быть полезны как для исследований, так и для бизнеса.