Hugging Face передала маршрутизацію мовних моделей OpenRouter
Hugging Face і OpenRouter розпочинають партнерство, щоб спростити доступ до моделей із відкритими вагами. Моделі, опубліковані в Hugging Face Hub, можна викликати через єдиний API за допомогою токена Hugging Face, якщо їх обслуговує відповідний провайдер. Запити до мовних моделей тепер проходять через OpenRouter, який обирає провайдера за поточними показниками ціни, швидкості та надійності, а в разі збою може повторити запит у іншого провайдера.
Інтеграція підтримує API Chat Completions і Responses від OpenAI, а також Messages API від Anthropic для чат-моделей. Наявний код змінювати не потрібно. Користувачі можуть обрати політику маршрутизації або конкретного провайдера за допомогою суфікса в ідентифікаторі моделі. Маршрутизація також враховує кеш підказок, тому розмова може залишатися у провайдера, який зберігає її кеш.
Вартість не змінюється: у рахунку Hugging Face відображається ціна провайдера без додаткової націнки. Користувачі PRO отримують кредит $2 щомісяця, а організації Team та Enterprise — $2 на кожне місце. Власні API-ключі провайдерів більше не можна використовувати для мовних моделей. Генерація зображень, відео й аудіо й надалі працює безпосередньо через Hugging Face Inference Providers.
Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.