Writer представляє нову ШІ-модель і вдосконалений інструментарій для зниження витрат на токени

У всій індустрії ШІ користувачі дедалі більше усвідомлюють, наскільки дорогими можуть бути їхні впровадження, і відчувають нову нагальну потребу скорочувати витрати. Однак, хоча моделі з відкритим кодом пропонують значно нижчу вартість за токен, буває складно знайти правильну модель для конкретного завдання.

У четвер компанія Writer, яка пропонує інструменти та агентів на основі ШІ для маркетологів, запустила нову флагманську модель під назвою Palmyra X6, покликану розв’язати цю проблему для своїх користувачів. Створена як варіація моделі з відкритим кодом GLM-5.2 від Z.ai, доопрацьована на етапі посттренування, нова система, за словами Writer, має забезпечити готові до розгортання можливості за значно нижчою ціною. Компанія оцінює, що нова модель у поєднанні зі змінами в інфраструктурі агентського середовища компанії скоротить витрати її клієнтів на базові завдання до 50%.

Разом із новою моделлю компанія також випустила значні оновлення свого стандартного агентського середовища. Обидві функції будуть доступні клієнтам Writer із четверга.

«Я думаю, що корпоративний сектор абсолютно втомився гнатися за наступним бенчмарком, — сказав генеральний директор May Habib в інтерв’ю TechCrunch. — Вони хочуть стабілізації витрат, і, схоже, ніхто не може цього забезпечити».

Новий підхід приділяє особливу увагу складним багатокроковим завданням, які виконуються швидше та з використанням меншої кількості токенів. А Writer вважає оптимізацію агентського середовища важливим важелем для досягнення цієї мети.

Нещодавня стаття дослідників Writer підтверджує цей підхід: у ній тестуються невеликі зміни ефективності агентського середовища на кількох різних моделях. Дослідження показало, що в багатьох випадках зміни в агентському середовищі були надійнішим способом скоротити витрати, ніж вибір моделі, а витрати під час тестування в середньому знизилися на 40%.

«Агентське середовище — це єдиний компонент, ефективність якого множиться на кожну модель, яку використовує організація, — нинішню та майбутню», — написали дослідники.

Для клієнтів Writer досвід і надалі не залежатиме від конкретної моделі: Palmyra X6 працюватиме поряд з іншими моделями Writer або зовнішніми моделями, імпортованими через Azure чи Amazon Bedrock. Однак Habib також вважає, що прагнення скоротити витрати посилює ширшу недовіру до провідних лабораторій ШІ, які мають фінансовий стимул збільшувати використання токенів.

«Вибухове зростання витрат у цій сфері є безпрецедентним для клієнтів, як і масштаб, у якому директори з інформаційних технологій відмовляються від лабораторій, — сказала Habib в інтерв’ю TechCrunch, додавши, що лабораторії ШІ “насправді не мають глибокого розуміння того, як допомогти підприємству отримати користь від ШІ”».