PrismML стиснула модель міркування для роботи на особистих пристроях
Стартап у сфері штучного інтелекту PrismML представив Bonsai 2 27B — стиснену версію відкритої моделі Alibaba Qwen3.8 27B. Нова модель займає 5,9 ГБ, що приблизно у дев’ять-десять разів менше за оригінал. За даними компанії, цього може бути достатньо для запуску на персональних комп’ютерах і, можливо, на смартфонах високого класу. Генеральний директор Babak Hassibi відмовився коментувати повідомлення про переговори PrismML з Apple.
PrismML заснувала група дослідників Caltech, а очолює компанію професор і фахівець із технологій стиснення Hassibi. Радником стартапу є Ion Stoica, співзасновник Databricks і директор Sky Computing Lab при Berkeley. Серед інвесторів — Khosla Ventures, Cerberus Capital і Caltech. У межах посівного раунду компанія залучила $22,25 мільйона.
PrismML стверджує, що Bonsai 2 набирає 98% сукупного результату Qwen у тестах. Перша модель Bonsai, випущена в березні, досягала 95%; її завантажили понад 11 мільйонів разів, а менші моделі компанії — ще 2,6 мільйона разів. Метод замінює звичайні 16-бітні ваги моделі трійковими значеннями +1, −1 і 0, скорочуючи обсяг зберігання. Наступною метою є стиснення моделей із кількома сотнями мільярдів параметрів. Hassibi визнає, що стиснення все ж може погіршувати продуктивність.
Текст підготовлено ШІ Sakhanda Wire за матеріалом TechCrunch. Факти, цитати та повний контекст — в оригінальній статті нижче.