Writer представя нов AI модел и подобрена инфраструктура за ограничаване на разходите за токени

В цялата AI индустрия потребителите все повече осъзнават колко скъпи могат да бъдат техните внедрявания — и изпитват нова спешна необходимост да намалят разходите. Но макар моделите с отворен код да предлагат значително по-ниски разходи за токен, намирането на подходящия модел за дадена задача може да бъде трудно.

В четвъртък Writer, която предлага AI инструменти и агенти за маркетолози, пусна нов водещ модел, наречен Palmyra X6, насочен към решаването на този проблем за своите потребители. Създадена като вариант след дообучение на модела с отворен код GLM-5.2 на Z.ai, Writer заявява, че новата система трябва да предоставя готови за внедряване възможности на много по-ниска цена. Компанията изчислява, че новият модел, съчетан с промените в инфраструктурата за изпълнение на задачите на компанията, ще намали разходите за клиентите ѝ с до 50% при базови задачи.

Заедно с новия модел компанията представи и значителни подобрения на стандартната си инфраструктура за агентни системи. И двете функции ще бъдат достъпни за клиентите на Writer от четвъртък.

„Мисля, че корпоративният сектор определено се е уморил да преследва следващия бенчмарк“, заяви главният изпълнителен директор Мей Хабиб пред TechCrunch. „Те искат стабилизиране на разходите, а изглежда, че никой не може да го постигне.“

Новият подход поставя особен акцент върху сложни, многоетапни задачи, изпълнявани по-бързо и с по-малко токени. А Writer вижда оптимизацията на инфраструктурата за агентни системи като ключов лост за постигането на това.

Скорошна статия на изследователи от Writer подкрепя този подход, като тества малки промени в ефективността на инфраструктурата при множество различни модели. Изследването установява, че в много случаи промените в инфраструктурата са по-надежден начин за намаляване на разходите от избора на модел, като разходите са спаднали средно с 40% в рамките на тестовете.

„Инфраструктурата за агентни системи е единственият компонент, чиято ефективност се умножава при всеки модел, който дадена организация използва — настоящ и бъдещ“, пишат изследователите.

За клиентите на Writer изживяването все още е независимо от модела: Palmyra X6 ще работи редом с други модели на Writer или с външни модели, импортирани чрез Azure или Amazon Bedrock. Но Хабиб също така вижда стремежа към намаляване на разходите като двигател на по-широко недоверие към големите AI лаборатории, които имат финансов стимул да увеличават използването на токени.

„Експлозията на разходите тук е просто безпрецедентна за клиентите, както и степента, в която главните информационни директори се отказват от лабораториите“, заяви Хабиб пред TechCrunch, добавяйки, че AI лабораториите „не разбират достатъчно добре как да помогнат на една компания да извлече полза от AI“.