GPT-5.6 Sol працює у 14 разів швидше: OpenAI запускає режим Ultrafast на базі Cerebras

OpenAI запускає попередню версію нового режиму «Ultrafast», який забезпечує до 750 вихідних токенів на секунду у своїй флагманській моделі GPT-5.6 Sol.

Прискорення інференсу забезпечує Cerebras, яка на початку цього року уклала з OpenAI партнерство вартістю десять мільярдів доларів. Спочатку сервіс буде доступний лише через API OpenAI для GPT-5.6 Sol і лише обраним клієнтам. OpenAI планує поступово розширювати доступ у міру зростання потужностей. Компанії, які хочуть долучитися, можуть підписатися на оновлення через форму.

Швидше генерування відкриває нові сценарії використання

В OpenAI кажуть, що Ultrafast поєднує швидкість менших моделей із повними можливостями великої моделі міркування, забезпечуючи те, що компанія називає «більш корисною роботою за секунду». Наприклад, під час реагування на інцидент інженери могли б аналізувати журнали, зміни в коді та звіти ще під час збою, що допомогло б їм у реальному часі визначити причину та підготувати виправлення. В OpenAI кажуть, що вже використовують модель для цієї мети всередині компанії.

OpenAI описує ще кілька сценаріїв. У фінансовій сфері модель могла б оцінювати ринкові сигнали та виявляти підозрілі транзакції, поки умови продовжують змінюватися. У службі підтримки складні запити можна було б вирішувати в реальному часі, навіть якщо пошук відповіді потребує кількох етапів або роботи з кількома системами. В електронній торгівлі модель могла б відповідати на запитання про товари, перевіряти рівень запасів і персоналізувати рекомендації ще до того, як нерішучий покупець покине кошик.

Відео: створення 3D-симулятора складу, показаного ліворуч у режимі Ultrafast

Дослідження — ще одна сфера, яку виділяє OpenAI. Експерименти, які раніше виконувалися вночі як пакетні завдання, можуть перетворитися на інтерактивні робочі сесії, даючи командам змогу перевірити ідею, переглянути результати, скоригувати підхід і запустити наступний цикл, не перериваючи робочий процес.

OpenAI перетворює швидкість ШІ на інструмент ціноутворення

OpenAI вже монетизує швидкість інференсу за допомогою тарифних рівнів. Через API компанія пропонує «Fast Mode», який обіцяє до 2,5 раза вищу швидкість із меншою затримкою для GPT-5.6 Sol приблизно за подвійну ціну. Ultrafast додає третій, швидший і, ймовірно, дорожчий рівень.

Ця логіка нагадує підхід хмарних провайдерів на кшталт AWS, які вже давно стягують більшу плату за ту саму послугу на вищих рівнях продуктивності. OpenAI застосовує це до інференсу ШІ. Якщо швидкість стане вузьким місцем у різних галузях, така багаторівнева модель дасть OpenAI змогу безпосередньо отримувати частину додаткового доходу, який створює швидший інференс.

Новини ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати матеріали без реклами, отримувати щотижневий інформаційний бюлетень про ШІ та наш ексклюзивний галузевий звіт «AI Radar» шість разів на рік, мати повний доступ до архіву й можливість залишати коментарі.