Hugging Face выпустила Carbon-X — открытую языковую модель ДНК на 14 млрд. параметров, впервые объединяющую ДНК и естественный язык
MarkTechPost·6 мин чтения
Hugging Face выпустила Carbon-X — открытую языковую модель ДНК с 14,8 млрд параметров. Carbon-X — модель только с декодером от Hugging Face Bio. Она читает необработанную ДНК в чате и отвечает на английском языке. Модель предсказывает, являются ли мутации доброкачественными или патогенными, отмечает регуляторные области, классифицирует организмы и предсказывает следующие основания. Веса распространяются по лицензии Apache 2.0, поэтому лаборатории могут хранить чувствительные последовательности на собственных GPU. Hugging Face создала модель совместно с Zhongguancun Academy и TIGEM / Неаполитанским университетом имени Фридриха II.
Кратко
Размер: 14,8 млрд параметров (плотная модель, без MoE), контекст 40 960 токенов.
Запуск: 1 GPU с 80 ГБ в формате bfloat16 через vLLM или Transformers. Официальный GGUF: Q8_0 — 15,8 ГБ, Q4_K_M — 9,6 ГБ.
Производительность: средний результат 66,7% на 5 тестах ДНК — лучший среди всех протестированных открытых моделей (по данным самой компании).
Лучший результат: 74,9% на BioReason Coding — выше, чем у всех протестированных моделей, открытых и закрытых.
Худший результат: 29,8% на вопросах о сайтах сплайсинга в GenomeQA.
Что такое Carbon-X и как она работает?
Carbon-X создана на основе Qwen3-14B. ДНК и текст используют один поток токенов в одном декодере. Отдельного кодировщика ДНК нет, в отличие от более ранних работ, таких как BioReason.
Ключевой структурный компонент — гибридный токенизатор. Он сохраняет BPE-словарь Qwen3 для текста и добавляет 5515 токенов ДНК. В их число входят 4096 неперекрывающихся 6-меров, 1364 концевых токена и 3 маркера. Один токен ДНК охватывает 6 пар оснований. Последовательности ДНК длиной 6 и более оснований A/C/G/T автоматически помечаются.
В основе лежит стандартный стек Qwen3. Он содержит 40 слоёв, размер скрытого слоя 5120 и GQA с 8 KV-головами.
Как обучалась Carbon-X?
Согласно карточке модели, обучение проходило в четыре этапа:
Прогрев эмбеддингов: около 10 млрд токенов при замороженном трансформере, поэтому обучались только новые эмбеддинги ДНК.
Промежуточное обучение: 302 млрд токенов с длиной последовательности 8192. В наборе 55% необработанной ДНК, 20% английского языка, 15% биологических текстов и 10% инструкционных данных.
SFT: 3 эпохи на 20 поднаборах данных; ответы проверялись детерминированными верификаторами, созданными при участии экспертов предметной области.
RL: асинхронный GRPO с проверяемыми наградами в течение 2 раундов с использованием TRL и vLLM.
Согласно публикации о релизе, самым сложным параметром оказался темп обучения. При высоких значениях модель обучалась работе с ДНК, но забывала английский язык. Более низкий темп, модель на 14 млрд параметров и длительное обучение помогли устранить этот компромисс. RL, применённое непосредственно к Qwen3-14B, так и не превысило базовый уровень случайного угадывания в 50% на FrontierVEP.
Как Carbon-X показывает себя на тестах ДНК?
Все результаты предоставлены самой Hugging Face. Carbon-X работала с отключённым режимом рассуждений. Конкурирующие модели запускались с максимальным уровнем рассуждений.
Тест
Carbon-X
GPT-6.1 Sol (Max)
Opus 5.5 (Max)
Kimi K3 (Low)
BioReason Coding
74.9
71.0
70.3
53.9
BioReason Non-SNV
85.1
91.7
94.8
65.3
GenomeQA
63.6
67.2
62.2
52.0
NextBase
39.4
32.9
1.1
30.6
FrontierVEP
70.4
74.9
76.2
50.1
Среднее
66.7
67.5
60.9
50.4
Carbon-X опережает Qwen3-14B на 27 процентных пунктов и уступает GPT-6.1 Sol 0,8 пункта. Она лидирует в задачах на эффекты кодирующих вариантов и предсказание следующего основания. Флагманские модели по-прежнему выигрывают в работе со сложными вариантами и вариантами отдельных оснований.
Отказы влияют на эти показатели. В NextBase результат Opus 5.5 падает с 17,7% при низком уровне усилий до 1,1% при максимальном, поскольку число отказов растёт. Gemini 4 Argon снижается с 58% до 38% на FrontierVEP по мере увеличения уровня усилий.
Carbon-X также сохраняет общие навыки: 79,3% строгой точности на уровне запросов в IFEval.
Hugging Face рассчитывает стоимость Carbon-X исходя из измеренной пропускной способности H200 стоимостью $5 в час. На этой основе компания сообщает, что стоимость вывода для одной задачи составляет примерно 1/1800 от стоимости GPT-6.1 Sol. Оценка 2,4 млн вариантов ClinVar с неопределённой клинической значимостью обойдётся примерно в $300. Та же задача на флагманских моделях стоит от $32 000 до $4 млн.
Carbon-X также может работать как субагент. Индекс ДНК Kimi K3 вырос с 49,4% до 60,5%, когда модель обращалась к Carbon-X.
Как развернуть Carbon-X?
vLLM: команда vllm serve HuggingFaceBio/Carbon-X --trust-remote-code на 1 GPU с 80 ГБ.
Transformers: версия 5 или новее, с trust_remote_code=True для токенизатора ДНК.
llama.cpp: для официального репозитория Carbon-X-GGUF требуется llama.cpp b11742 или более новая версия. Старые сборки неправильно токенизируют ДНК.
Агенты: в репозитории есть инструмент в стиле OpenAI, агент Inspect и навык carbon-dna для агентов, работающих с кодом.
Оставьте параметр enable_thinking=False. Модель дообучалась и оценивалась именно в таком режиме.
Как Carbon-X сравнивается с другими моделями ДНК и общего назначения?
