Meta выпустила открытый мультимодальный модель Muse Glimmer
Meta представила Muse Glimmer — мультимодальную модель с 30 млрд параметров для локальных агентных приложений. Модель дистиллирована из Muse и распространяется по лицензии Apache 2.0. В описании среди возможных задач названы программирование, анализ документов и персональные помощники, где локальный запуск может быть важен для конфиденциальности. Модель доступна в Hugging Face Hub.
Muse Glimmer объединяет 2 млрд параметров зрительного энкодера и 28 млрд параметров текстового декодера. Она обрабатывает изображения и видео, поддерживает мультимодальные вызовы инструментов и открытое обнаружение объектов на изображениях. Процессор видео рассчитан на два кадра в секунду и может использовать до 96 кадров, равномерно выбранных из ролика.
Meta сообщила о поддержке модели с первого дня в Transformers, llama.cpp, vLLM, Inference Endpoints и других библиотеках. Необязательный модуль спекулятивного декодирования DFlash способен ускорить генерацию, увеличивая потребление памяти. В опубликованных сравнениях Muse Glimmer получила лучшие результаты в нескольких агентных, программных и логических тестах, тогда как другие модели опередили её по отдельным мультимодальным показателям и метрикам безопасности.
Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.