Architect запускает Liquid Inference — аукцион в реальном времени для инференса LLM
Architect Financial Technologies запустила Liquid Inference — маршрутизатор LLM, который проводит живой аукцион для каждого запроса. Liquid Inference — это маркетплейс инференса LLM от Architect, где провайдеры предлагают цены за обработку каждого запроса. Покупатель платит по самой низкой ставке, соответствующей его правилам. Для разработчиков всё довольно просто: замените базовый URL, сохраните свой код и позвольте провайдерам конкурировать по цене.
Что такое Liquid Inference?
Liquid Inference — это маршрутизатор инференса LLM, работающий по принципу биржи. Согласно Architect, провайдеры публикуют предложения по обслуживанию конкретных моделей. Каждый запрос выставляется на аукцион среди всех провайдеров, указавших соответствующую модель. Побеждает предложение с самой низкой ценой, соответствующее правилам покупателя.
Продукт создан торговой фирмой, а не лабораторией искусственного интеллекта. Architect управляет биржей бессрочных фьючерсов AX. В мае 2026 года компания приобрела американский Designated Contract Market для листинга фьючерсов на вычислительные мощности GPU — сделка ожидает проверки со стороны регуляторов. Команда использовала свой опыт создания финансовых бирж, чтобы реализовать двустороннее формирование цен на инференс.
Как работает аукцион инференса?
Процесс состоит из 4 шагов:
- Запрос: Клиент отправляет стандартный вызов API OpenAI или Anthropic.
- Правила: Ограничения покупателя отфильтровывают подходящие предложения.
- Аукцион: Провайдеры, предлагающие эту модель, конкурируют между собой. Побеждает самое дешёвое подходящее предложение.
- Квитанция: Максимальная цена фиксируется до начала генерации. Оплата взимается только за фактически измеренное использование.
Покупатели могут устанавливать лимиты стоимости для отдельных задач, ограничения по времени до получения первого токена и минимальной пропускной способности. Они также могут требовать одобренные регионы, нулевое хранение данных и списки разрешённых провайдеров или моделей. Режим Auto может выбрать модель для конкретной единицы работы. В публикации Харрисона в LinkedIn также упоминаются предустановки правил маршрутизации и полная поддержка мультимодальности.
Владельцы аккаунтов могут просматривать книги заявок в реальном времени, котировки отдельных провайдеров и моделей, а также исполненные сделки. Такой уровень рыночных данных необычен для API LLM.
Что получают покупатели?
- Совместимость без дополнительных настроек с инструментами агентного программирования. В публикации перечислены Claude Code, Codex, OpenCode, Cursor, Pi и Cline.
- Бесплатная регистрация по электронной почте. Первые 500 пользователей получат бесплатный инференс на сумму $20, согласно Харрисону.
- Реферальная программа: 20% от комиссий привлечённых пользователей в виде бесплатного инференса, а также 10% от рефералов второго уровня.
Что получают провайдеры инференса?
Провайдеры подключаются через приложение Liquid Inference. Харрисон утверждает, что новые провайдеры проходят проверку «за минуты, а не за недели». Все запросы используют стандарт API OpenAI. REST API и WebSocket API позволяют регистрировать модели и котировки.
Провайдеры могут обновлять котировки с учётом собственных затрат. Это позволяет им продавать свободные мощности GPU только тогда, когда они этого хотят. Выплаты проходят через Stripe, а для каждой задачи формируются подробные записи.
Как Liquid Inference сравнивается с OpenRouter и Hugging Face?
| Характеристика | Liquid Inference | OpenRouter | Провайдеры инференса Hugging Face |
|---|---|---|---|
| Модель маршрутизации | Аукцион для каждого запроса среди провайдеров, разместивших котировки | Балансировка нагрузки с учётом цены, обратный квадрат цены | По умолчанию — самый быстрый провайдер; суффикс :cheapest опционален |
| Количество моделей / провайдеров | «Сотни» моделей; провайдеры не раскрываются | Более 500 моделей, более 80 провайдеров | 18 указанных партнёров |
| Совместимость API | Совместимость с OpenAI и Anthropic | Совместимость с OpenAI | Совместимость с OpenAI, только чат |
| Ограничение цены | Максимальная цена фиксируется до получения первого токена | Параметр max_price | Не раскрывается |
| Контроль данных | ZDR, регионы, списки разрешённых элементов | zdr, data_collection, only/ignore | Порядок предпочтения провайдеров |
| Комиссия платформы | Не раскрывается | Комиссия 5,5% за оплату картой, минимум $0,80 | Без наценки |
| Бесплатные кредиты | $20 для первых 500 пользователей | Не раскрывается | $0,10 в месяц бесплатно, $2,00 для PRO |
| Публичные рыночные данные | Книги заявок в реальном времени и исполненные сделки | Не раскрывается | Не раскрывается |
Основные выводы
- Liquid Inference проводит аукцион для каждого запроса к LLM среди конкурирующих провайдеров.
- Максимальная цена фиксируется до получения первого токена, а для каждой задачи выдаётся квитанция.
- Сервис работает с клиентами OpenAI и Anthropic, включая Claude Code и Cursor.
- Первые 500 пользователей получают $20 бесплатно; за рекомендации начисляется 20% комиссий.
- Размер комиссий, список провайдеров и данные о задержке пока не опубликованы.
Ознакомьтесь с техническими подробностями. Вся заслуга принадлежит исследователю этого проекта. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту о машинном обучении с более чем 150 тысячами участников и подписаться на нашу рассылку. Постойте! Вы есть в Telegram? теперь вы также можете присоединиться к нам в Telegram.
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.