Hugging Face випустила Carbon-X — відкриту мовну модель ДНК на 14B параметрів, яка вперше поєднує ДНК і природну мову
MarkTechPost·6 хв читання
Hugging Face випустила Carbon-X — відкриту мовну модель ДНК із 14,8 млрд параметрів. Carbon-X — це модель лише декодерного типу від Hugging Face Bio. Вона читає необроблену ДНК у чаті та відповідає англійською. Модель прогнозує, чи є мутації доброякісними або патогенними, позначає регуляторні ділянки, класифікує організми та прогнозує наступні основи. Ваги поширюються за ліцензією Apache 2.0, тому лабораторії можуть зберігати чутливі послідовності на власних GPU. Hugging Face створила її спільно з Zhongguancun Academy і TIGEM / Університетом Неаполя імені Федеріко II.
Коротко
Розмір: 14,8 млрд параметрів (щільна, без MoE), контекст на 40 960 токенів.
Працює на: 1 GPU із 80 ГБ у форматі bfloat16 через vLLM або Transformers. Офіційний GGUF: Q8_0 — 15,8 ГБ, Q4_K_M — 9,6 ГБ.
Продуктивність: у середньому 66,7% на 5 бенчмарках ДНК — найкращий результат серед усіх протестованих відкритих моделей (за власними даними).
Найкращий результат: 74,9% на BioReason Coding — попереду всіх протестованих моделей, відкритих і закритих.
Найгірший результат: 29,8% на запитаннях GenomeQA про сайти сплайсингу.
Що таке Carbon-X і як вона працює?
Carbon-X створена на основі Qwen3-14B. ДНК і текст використовують один потік токенів в одному декодері. Окремого енкодера ДНК немає, на відміну від попередніх робіт, таких як BioReason.
Ключовим структурним елементом є гібридний токенізатор. Він зберігає словник BPE Qwen3 для тексту та додає 5 515 токенів ДНК. До них належать 4 096 неперекривних 6-мерів, 1 364 кінцеві токени та 3 маркери. Один токен ДНК охоплює 6 пар основ. Послідовності ДНК із 6 або більше основ A/C/G/T автоматично позначаються.
Основою є стандартний стек Qwen3. Він має 40 шарів, розмір прихованого стану 5120 і GQA з 8 KV-головами.
Як навчали Carbon-X?
За даними картки моделі, навчання проходило у чотири етапи:
Розігрівання ембедингів: приблизно 10 млрд токенів із замороженим трансформером, щоб навчалися лише нові ембединги ДНК.
Проміжне навчання: 302 млрд токенів із довжиною послідовності 8 192. Суміш складається з 55% необробленої ДНК, 20% англійської мови, 15% біологічного тексту та 10% інструкційних даних.
SFT: 3 епохи на 20 підмножинах наборів даних, із відповідями, перевіреними детермінованими верифікаторами, створеними за участю галузевих експертів.
RL: асинхронний GRPO із перевірюваними винагородами у 2 раундах, із використанням TRL і vLLM.
Згідно з публікацією про реліз, найскладніше було налаштувати швидкість навчання. Високі значення допомагали вивчати ДНК, але модель забувала англійську. Нижча швидкість, модель на 14 млрд параметрів і тривале навчання усунули цей компроміс. RL, застосоване безпосередньо до Qwen3-14B, так і не перевищило базовий рівень у 50% для FrontierVEP.
Як Carbon-X показує себе на бенчмарках ДНК?
Усі результати наведені за власними даними Hugging Face. Carbon-X працювала з вимкненим мисленням. Конкуренти працювали на найвищому рівні зусиль міркування.
Бенчмарк
Carbon-X
GPT-6.1 Sol (Max)
Opus 5.5 (Max)
Kimi K3 (Low)
BioReason Coding
74.9
71.0
70.3
53.9
BioReason Non-SNV
85.1
91.7
94.8
65.3
GenomeQA
63.6
67.2
62.2
52.0
NextBase
39.4
32.9
1.1
30.6
FrontierVEP
70.4
74.9
76.2
50.1
Середнє
66.7
67.5
60.9
50.4
Carbon-X випереджає Qwen3-14B на 27 пунктів і поступається GPT-6.1 Sol на 0,8 пункту. Вона лідирує у прогнозуванні ефектів кодуючих варіантів і наступної основи. Frontier-моделі все ще перемагають у роботі зі складними варіантами та варіантами однієї основи.
Відмови впливають на ці показники. На NextBase результат Opus 5.5 падає із 17,7% за низького рівня зусиль до 1,1% за максимального, оскільки кількість відмов зростає. Gemini 4 Argon падає з 58% до 38% на FrontierVEP зі збільшенням рівня зусиль.
Carbon-X також зберігає загальні навички: 79,3% суворої точності на рівні запитів у IFEval.
Hugging Face розраховує вартість Carbon-X за виміряною пропускною здатністю на H200 за $5 на годину. На цій основі компанія повідомляє, що вартість інференсу на одну задачу становить приблизно 1/1 800 від вартості GPT-6.1 Sol. Оцінювання 2,4 млн варіантів ClinVar із невизначеною клінічною значущістю коштувало б приблизно $300. Та сама задача на фронтирних моделях коштує від $32 000 до $4 млн.
Carbon-X також може працювати як субагент. Індекс ДНК Kimi K3 зріс із 49,4% до 60,5%, коли модель зверталася до Carbon-X.
Як розгорнути Carbon-X?
vLLM:vllm serve HuggingFaceBio/Carbon-X --trust-remote-code на 1 GPU із 80 ГБ.
Transformers: версія 5 або новіша, із trust_remote_code=True для токенізатора ДНК.
llama.cpp: офіційному репозиторію Carbon-X-GGUF потрібен llama.cpp b11742 або новіший. Старіші збірки неправильно токенізують ДНК.
Агенти: репозиторій містить інструмент у стилі OpenAI, агента Inspect і навичку carbon-dna для агентів програмування.
Залишайте enable_thinking=False. Модель була донавчена та оцінена саме в такому режимі.
Як Carbon-X порівнюється з іншими моделями ДНК і загального призначення?
