Hugging Face пусна Carbon-X, отворен ДНК езиков модел с 14B параметъра, който за първи път обединява ДНК и естествения език
MarkTechPost·6 мин четене
Hugging Face пусна Carbon-X, отворен езиков модел за ДНК с 14,8 млрд. параметъра. Carbon-X е модел само с декодер от Hugging Face Bio. Той чете необработена ДНК в чат и отговаря на английски. Моделът предсказва дали мутациите са доброкачествени или патогенни, маркира регулаторни региони, класифицира организми и предсказва следващите бази. Теглата се разпространяват под лиценза Apache 2.0, така че лабораториите могат да съхраняват чувствителните последователности на собствените си графични процесори. Hugging Face го разработи съвместно със Zhongguancun Academy и TIGEM / University of Naples Federico II.
Накратко
Размер: 14,8 млрд. параметъра (плътен модел, без MoE), контекст от 40 960 токена.
Работи на: 1 графичен процесор с 80 GB в bfloat16 чрез vLLM или Transformers. Официален GGUF: Q8_0 е 15,8 GB, а Q4_K_M е 9,6 GB.
Производителност: средно 66,7% на 5 бенчмарка за ДНК, най-добрият от всички тествани отворени модели (по данни на самите разработчици).
Най-добър резултат: 74,9% на BioReason Coding, пред всеки тестван модел, отворен или затворен.
Най-слаб резултат: 29,8% на въпросите за splice-сайтове в GenomeQA.
Какво представлява Carbon-X и как работи?
Carbon-X започва от Qwen3-14B. ДНК и текстът споделят 1 токенен поток в 1 декодер. Няма отделен енкодер за ДНК, за разлика от по-ранни разработки като BioReason.
Ключовият структурен елемент е хибридният токенизатор. Той запазва BPE речника на Qwen3 за текст и добавя 5515 токена за ДНК. Те включват 4096 неприпокриващи се 6-мера, 1364 крайни токена и 3 маркера. Един токен за ДНК обхваща 6 базови двойки. ДНК последователности от 6 или повече бази A/C/G/T се маркират автоматично.
Основата е стандартен стек Qwen3. Той има 40 слоя, размер на скритото състояние 5120 и GQA с 8 KV глави.
Загряване на ембедингите: около 10 млрд. токена при замразен трансформатор, така че да се обучават само новите ембинги за ДНК.
Междинно обучение: 302 млрд. токена с дължина на последователността 8192. Съотношението е 55% необработена ДНК, 20% английски език, 15% биологичен текст и 10% инструкции.
SFT: 3 епохи върху 20 подмножества от набори от данни, като отговорите са проверявани от детерминистични верификатори, създадени с помощта на експерти в областта.
RL: асинхронен GRPO с проверими награди в рамките на 2 кръга, използващ TRL и vLLM.
Според публикацията за представянето скоростта на обучение е била най-трудният за настройване параметър. Високите стойности са научавали модела на ДНК, но са го карали да забравя английския. По-ниска скорост, 14B модел и продължително обучение са решили този компромис. RL, приложено директно към Qwen3-14B, никога не е надминало базовото ниво от 50% вероятност при FrontierVEP.
Как се представя Carbon-X на бенчмаркове за ДНК?
Всички резултати са предоставени от Hugging Face. Carbon-X е работил с изключено мислене. Конкурентите са работили с най-доброто си ниво на разсъждение.
Бенчмарк
Carbon-X
GPT-6.1 Sol (Max)
Opus 5.5 (Max)
Kimi K3 (Low)
BioReason Coding
74.9
71.0
70.3
53.9
BioReason Non-SNV
85.1
91.7
94.8
65.3
GenomeQA
63.6
67.2
62.2
52.0
NextBase
39.4
32.9
1.1
30.6
FrontierVEP
70.4
74.9
76.2
50.1
Средно
66.7
67.5
60.9
50.4
Carbon-X е с 27 пункта над Qwen3-14B и с 0,8 пункта под GPT-6.1 Sol. Той води при ефектите на кодиращите варианти и предсказването на следващата база. Граничните модели все още печелят при сложните варианти и вариантите на единични бази.
Отказите влияят върху тези резултати. При NextBase Opus 5.5 пада от 17,7% при ниско ниво на усилие до 1,1% при максимално усилие, тъй като отказите се увеличават. Gemini 4 Argon пада от 58% до 38% при FrontierVEP с увеличаването на усилието.
Carbon-X запазва и общите си умения: 79,3% строга точност на ниво заявка при IFEval.
Hugging Face определя цената на Carbon-X според измерената производителност на H200 при 5 долара на час. На тази основа компанията съобщава, че разходът за извеждане на резултат за задача е около 1/1800 от този на GPT-6.1 Sol. Оценяването на 2,4 милиона ClinVar варианта с неясно значение би струвало около 300 долара. Същата задача струва между 32 000 и 4 милиона долара при граничните модели.
Carbon-X работи и като подагент. Индексът на ДНК на Kimi K3 се е повишил от 49,4% до 60,5%, когато е използвал Carbon-X.
Как се внедрява Carbon-X?
vLLM:vllm serve HuggingFaceBio/Carbon-X --trust-remote-code на 1 графичен процесор с 80 GB.
Transformers: версия 5 или по-нова, с trust_remote_code=True за токенизатора за ДНК.
llama.cpp: официалното хранилище Carbon-X-GGUF изисква llama.cpp b11742 или по-нова версия. По-старите компилации токенизират ДНК неправилно.
Агенти: хранилището включва инструмент в стил OpenAI, Inspect агент и умение carbon-dna за кодиращи агенти.
Оставете enable_thinking=False. Моделът е дообучен и оценен по този начин.
Как се сравнява Carbon-X с други модели за ДНК и общо предназначение?
Имате нужда от партньор за популяризиране на вашето GitHub хранилище ИЛИ страница в Hugging Face ИЛИ представяне на продукт ИЛИ уебинар и т.н.? Свържете се с нас
Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.
