Нова модель міркувань Salesforce і Nvidia — саме те, чого мають боятися ШІ-лабораторії

Нова модель ШІ під назвою Koa — одне з найбільших оголошень Salesforce цього тижня на її масштабній технологічній конференції Dreamforce. Koa — перша модель компанії, здатна міркувати, створена на основі моделі Nemotron із відкритими вагами від Nvidia. Дві компанії спільно провели донавчання Koa, щоб модель краще виконувала завдання, пов’язані з продажами, маркетингом і підтримкою клієнтів.

Koa — яскравий приклад того, як потреби корпоративного світу у ШІ відрізняються від того, що пропонують передові лабораторії. Комерційні лабораторії ШІ воліли б, щоб підприємства завантажували файли, код, запити та відгуки безпосередньо у їхні моделі й агенти, витрачаючи на це мільйони.

Але разом із цією моделлю Salesforce пропонує своїм корпоративним клієнтам:

• альтернативу закритим передовим моделям із відкритими вагами
• модель, навчену виконувати конкретні робочі завдання (а не розв’язувати неможливі математичні задачі)
• модель, яка не отримувала жодних фактичних даних клієнтів і тому не може розкрити їх іншим
• модель, яка допомагає скоротити витрати на ШІ, оскільки використовує менше токенів для виконання тієї самої роботи
• модель, запити до якої можна автоматично спрямовувати через ШІ-«шлюз» залежно від потреби
• а також модель, яка дотримується всіх вимог клієнта щодо даних і безпеки, вбудованих у Salesforce.

Koa буде доступна як альтернатива іншим моделям, які Salesforce пропонує на своїй платформі Agentforce, де клієнти створюють агентів для виконання рутинних завдань, як-от відповіді на запитання клієнтів або планування зустрічей.

«Ми створили багато невеликих мовних моделей для конкретних завдань, які є частиною портфоліо Agentforce, — розповів TechCrunch Джайєш Говіндараян, виконавчий віцепрезидент Salesforce AI. — Але досі в питаннях міркування ми завжди покладалися на постачальників передових моделей. До цього моменту».

До появи Koa, якщо агенту потрібно було опрацювати тривале або багатоетапне завдання, такі запити через ШІ-шлюз Agentforce (систему, яка визначає, яка модель оброблятиме той чи інший запит) спрямовувалися до передової моделі, як-от Claude або ChatGPT.

«Однією з причин, чому ми не зробили цього раніше — не навчили власну передову модель корпоративного рівня, хоча завжди цього хотіли, — була відсутність попередньо навченої базової моделі, з якої можна було б почати. До появи Nemotron не існувало суверенної американської попередньо навченої моделі, яка, по-перше, була б доступною, по-друге, відповідала найсучаснішому рівню, а по-третє, мала чітке походження даних. Ми поняття не маємо, на чому навчається Qwen», — сказав Говіндараян, маючи на увазі популярну китайську модель із відкритими вагами, створену Alibaba.

Донавчання такої моделі означає перетворення системи загального призначення на модель, яка добре орієнтується у знаннях про продажі та підтримку клієнтів. Для цього Salesforce і Nvidia не використовували жодних фактичних даних клієнтів Salesforce. Натомість вони створили синтетичні дані, що імітували моделі поведінки клієнтів.

«Ми фактично змоделювали середовище обслуговування клієнтів із вигаданим фахівцем служби підтримки, включно з розлюченими клієнтами, які телефонують до центру обслуговування, і аж до фахівця з продажів, який намагається укласти угоду», — описав Говіндараян.

Koa має краще виконувати робочі завдання, які клієнти Salesforce хочуть доручати агенту, і бути дешевшою з погляду витрачених токенів, ніж передавання цих самих завдань Claude або ChatGPT.

За словами Карі Енн Бриські, віцепрезидентки Nvidia з програмного забезпечення генеративного ШІ для підприємств, у Nemotron «ми маємо унікальну архітектуру для ефективного з погляду токенів виконання запитів». «Це своєрідна трійця необхідних речей: суверенний ШІ, час до першого токена та ефективне міркування — якщо говорити про всю токеноміку», — розповіла вона TechCrunch.

Однак Salesforce не збирається повністю відмовлятися від Anthropic або OpenAI. Компанія щойно оголосила про партнерство з Anthropic під назвою ClaudeForce, яке дає змогу компаніям використовувати Claude як інтерфейс ШІ, тоді як їхні дані залишаються в системі обліку Salesforce і захищаються її інфраструктурою.