PrismML пусна тернарен модел Qwen3.8 27B с размер 5,93 GB
PrismML представи Ternary Bonsai 2 27B — версия на Qwen3.8 27B с тернарни тегла и лиценз Apache 2.0. Езиковият модел заема 5,93 GB, докато вариантът във FP16 изисква 53,80 GB. Той обработва текст и изображения, поддържа контекст от 262K токена и според PrismML запазва 98,2% от средния резултат на оригинала в 20 бенчмарка.
Моделът има 27,36 млрд. параметъра и запазва архитектурата на Qwen3.8 27B, включително хибридно внимание. Всяко тернарно тегло приема стойност -1, 0 или +1, а отделен файл от 0,63 GB съдържа зрителната част за работа с изображения. Теглата могат да се изпълняват на лаптоп с 16 GB памет или на един графичен процесор с 24 GB, но са необходими форкът на llama.cpp на PrismML или MLX runtime.
Резултатите са неравномерни. Ternary Bonsai 2 27B получава 83,9 точки общо спрямо 85,4 за Qwen3.8 27B, но при Terminal-Bench 2.1 резултатът е 52,8 срещу 69,7. PrismML отчита 142,5 токена в секунда на RTX 5090. Данните са собствени за компанията и не са независимо потвърдени.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.