PrismML уменьшила модель рассуждений для работы на личных устройствах
Стартап в области искусственного интеллекта PrismML представил Bonsai 2 27B — сжатую версию открытой модели Alibaba Qwen3.8 27B. Размер новой модели составляет 5,9 ГБ, то есть примерно в девять-десять раз меньше исходного. По оценке компании, этого достаточно для запуска на персональном компьютере и, возможно, на смартфоне высокого класса. Генеральный директор Babak Hassibi отказался комментировать сообщения о переговорах PrismML с Apple.
PrismML основала группа исследователей Caltech, а возглавляет компанию профессор и специалист по технологиям сжатия Hassibi. Советником стартапа является Ion Stoica, сооснователь Databricks и директор Sky Computing Lab при Berkeley. Среди инвесторов — Khosla Ventures, Cerberus Capital и Caltech. В рамках посевного раунда компания привлекла $22,25 миллиона.
PrismML заявляет, что Bonsai 2 набирает 98% совокупного результата Qwen в тестах. Первая модель Bonsai, выпущенная в марте, достигала 95%; ее скачали более 11 миллионов раз, а меньшие модели компании — еще 2,6 миллиона раз. Метод заменяет обычные 16-битные веса модели троичными значениями +1, −1 и 0, уменьшая объем хранения. Следующими компания планирует сжать модели с несколькими сотнями миллиардов параметров. Hassibi отмечает, что сжатие все же может снижать производительность.
Текст подготовлен ИИ Sakhanda Wire по материалу TechCrunch. Факты, цитаты и полный контекст — в оригинальной статье ниже.