Новият модел за разсъждение на Salesforce и Nvidia е всичко, от което AI лабораториите трябва да се страхуват

Нов AI модел, наречен Koa, е едно от най-големите съобщения от Salesforce тази седмица на гигантската технологична конференция Dreamforce. Koa е първият модел за разсъждение на компанията, изграден върху модела Nemotron с отворени тегла на Nvidia. Двете компании са работили заедно по дообучаването на Koa, за да се справя отлично със задачи, свързани с продажби, маркетинг и обслужване на клиенти.

Koa е ярък пример за това как нуждите на корпоративния свят от AI се разминават с това, което предлагат водещите лаборатории. Лабораториите за собствени AI модели предпочитат компаниите да качват файлове, код, подсказки и обратна връзка директно в техните модели и агенти, и да харчат милиони за това.

Но с модела Salesforce предлага на корпоративните си клиенти:

• алтернатива с отворени тегла на затворените водещи модели
• модел, обучен да изпълнява конкретни работни задачи (вместо да решава невъзможни математически задачи)
• модел, който не е поглъщал реални данни на клиенти и следователно не може да ги разкрие пред други
• модел, който помага за намаляване на разходите за AI, тъй като използва по-малко токени, за да свърши същата работа
• модел, който може автоматично да бъде насочван чрез AI „шлюз“ в зависимост от нуждата
• както и модел, който спазва всички изисквания на клиента за данните и сигурността, вградени в Salesforce.

Koa ще бъде предоставен като алтернатива на останалите модели, които Salesforce предлага в своята платформа Agentforce, където клиентите му създават агенти за изпълнение на рутинни задачи като отговаряне на въпроси към обслужването на клиенти или насрочване на срещи.

„Създадохме много малки езикови модели, предназначени за конкретни задачи, които са част от портфолиото на Agentforce“, каза Джайеш Говиндараджан, изпълнителен вицепрезидент на Salesforce AI, пред TechCrunch. „Но за разсъждението винаги сме разчитали на доставчиците на водещи модели. Досега.“

Преди Koa, ако един агент трябваше да разсъждава по продължителна или многоетапна задача, тези подсказки се насочваха към водещ модел като Claude или ChatGPT чрез AI шлюза на Agentforce (системата, която определя кой модел да обработва всяка заявка).

„Една от причините да не сме правили това по-рано — да обучим собствен водещ модел от корпоративен клас — въпреки че винаги сме искали, е, че предизвикателството винаги е било липсата на предварително обучен базов модел, от който да започнем. Докато не се появи Nemotron, нямаше суверенен американски предварително обучен модел, който, първо, да е достъпен, второ, да е най-съвременен и, трето, да има ясен произход на данните. Нямаме представа върху какво обучава Qwen“, каза Говиндараджан, имайки предвид популярния китайски модел с отворени тегла, създаден от Alibaba.

Дообучаването на подобен модел означава той да бъде превърнат от система с общо предназначение в такава, която е добре запозната със знанията в областта на продажбите и обслужването на клиенти, а за тази цел Salesforce и Nvidia не са използвали реални данни от клиентите на Salesforce. Вместо това те са създали синтетични данни, имитиращи моделите на поведение на клиентите.

„Всъщност симулирахме среда за обслужване на клиенти с професионалист в обслужването на клиенти като персона, включително разгневени клиенти, които се обаждат в центъра за обслужване, чак до специалист по продажбите, който се опитва да сключи сделка“, обясни Говиндараджан.

Koa е предназначен да се справя по-добре с работните задачи, които клиентите на Salesforce искат агентът да изпълнява — и да бъде по-евтин по отношение на изразходваните токени — в сравнение с изпращането на същите задачи към Claude или ChatGPT.

С Nemotron „разполагаме с уникална архитектура за инференс, която е ефективна по отношение на токените“, каза Кари Ан Бриски, вицепрезидент на Nvidia за генеративен AI софтуер за предприятия, пред TechCrunch. „Това е своеобразната комбинация от трите неща, от които се нуждаете: суверенен AI, време до първия токен и ефективно разсъждение — цялата токеномика на системата.“

Salesforce обаче не се отказва напълно от Anthropic или OpenAI. Компанията току-що обяви партньорство с Anthropic наречено ClaudeForce, което позволява на компаниите да използват Claude като свой AI интерфейс, докато данните им остават в системата от записи на Salesforce, защитени от нейната инфраструктура.