Architect стартира Liquid Inference, търг в реално време за LLM инференция
Architect Financial Technologies стартира Liquid Inference — LLM маршрутизатор, който провежда търг в реално време за всяка заявка. Liquid Inference е пазар за LLM инференция от Architect, на който доставчиците наддават, за да обслужат всеки prompt. Купувачът плаща най-ниската оферта, която отговаря на зададените правила. За разработчиците посланието е съвсем просто: сменете базовия URL, запазете кода си и оставете доставчиците да се конкурират по цена.
Какво представлява Liquid Inference?
Liquid Inference е маршрутизатор за LLM инференция, работещ по модела на борса. Според Architect доставчиците публикуват оферти за обслужване на конкретни модели. Всяка заявка се предлага на търг между всички доставчици, които са обявили цена за посочения модел. Най-ниската оферта, отговаряща на изискванията на купувача, печели.
Продуктът идва от търговска фирма, а не от AI лаборатория. Architect управлява борсата за безсрочни фючърси AX. През май 2026 г. компанията придоби американски регулиран пазар за договори, на който да листва фючърси върху GPU изчислителни ресурси, в очакване на регулаторен преглед. Екипът използва опита си в изграждането на финансови борси, за да създаде двустранно откриване на цените за инференция.
Как работи търгът за инференция?
Процесът има 4 стъпки:
- Заявка: Клиентът изпраща стандартна заявка към OpenAI или Anthropic API.
- Правила: Ограниченията на купувача филтрират допустимите оферти.
- Търг: Доставчиците, предлагащи този модел, се конкурират. Най-ниската квалифицирана оферта печели.
- Разписка: Максималната цена се фиксира преди генерирането. Таксуването обхваща само измереното потребление.
Купувачите могат да задават лимити на разходите за всяка задача, ограничения за времето до първия токен и минимална пропускателна способност. Те могат също да изискват одобрени региони, нулево съхранение на данни и списъци с разрешени доставчици или модели. Режимът Auto може да избере модела за конкретна работна единица. Публикацията на Harrison в LinkedIn добавя предварително зададени правила за маршрутизиране и пълна поддръжка на мултимодални заявки.
Притежателите на акаунти могат да разглеждат книги с поръчки в реално време, котировки по доставчик и модел, както и изпълнени транзакции. Това ниво на пазарни данни е необичайно за LLM API.
Какво получават купувачите?
- Готова за директно използване съвместимост с инструменти за агентно програмиране. В публикацията са посочени Claude Code, Codex, OpenCode, Cursor, Pi и Cline.
- Безплатна регистрация по имейл. Първите 500 потребители получават инференция на стойност 20 долара безплатно, според Harrison.
- Реферална програма: 20% от таксите за привлечените потребители под формата на безплатна инференция, плюс 10% от рефералите на второ ниво.
Какво получават доставчиците на инференция?
Доставчиците се включват чрез приложението Liquid Inference. Harrison твърди, че новите доставчици се проверяват „за минути, а не за седмици“. Всички prompt-ове използват стандарта на OpenAI API. REST и WebSocket API регистрират моделите и котировките.
Доставчиците могат да актуализират котировките според собствените си разходи. Това им позволява да продават свободния GPU капацитет само когато желаят. Плащанията се извършват чрез Stripe, като за всяка задача се водят подробни записи.
Как Liquid Inference се сравнява с OpenRouter и Hugging Face?
| Функция | Liquid Inference | OpenRouter | Hugging Face Inference Providers |
|---|---|---|---|
| Модел на маршрутизиране | Търг за всяка заявка между доставчиците, публикували котировки | Балансиране на натоварването, претеглено според цената, с обратен квадрат на цената | По подразбиране най-бързият доставчик; суфиксът :cheapest е по избор |
| Брой модели / доставчици | „Стотици“ модели; броят на доставчиците не е оповестен | Над 500 модела, над 80 доставчици | 18 посочени партньори |
| Съвместимост с API | Съвместим с OpenAI и Anthropic | Съвместим с OpenAI | Съвместим с OpenAI, само за чат |
| Ценови лимит | Максималната цена се фиксира преди първия токен | Параметър max_price | Не е оповестен |
| Контрол върху данните | ZDR, региони, списъци с разрешени елементи | zdr, data_collection, only/ignore | Ред на предпочитание на доставчиците |
| Такса на платформата | Не е оповестена | 5,5% такса върху плащанията с карта, минимум 0,80 долара | Без надценка |
| Безплатни кредити | 20 долара за първите 500 потребители | Не са оповестени | 0,10 долара месечно безплатно, 2,00 долара за PRO |
| Публични пазарни данни | Книги с поръчки в реално време и изпълнени сделки | Не са оповестени | Не са оповестени |
Ключови изводи
- Liquid Inference провежда търг за всяка LLM заявка между конкуриращи се доставчици.
- Максималната цена се фиксира преди първия токен, като за всяка задача се издава разписка.
- Работи с клиенти на OpenAI и Anthropic, включително Claude Code и Cursor.
- Първите 500 потребители получават 20 долара безплатно; рефералите носят 20% от таксите.
- Таксите, списъкът с доставчици и данните за латентността все още не са публични.
Разгледайте техническите подробности. Цялата заслуга е за изследователя на този проект. Също така, не се колебайте да ни последвате в Twitter и не забравяйте да се присъедините към нашия ML SubReddit с над 150 хил. членове и да се абонирате за нашия бюлетин. Чакайте! В Telegram ли сте? Сега можете да се присъедините към нас и в Telegram.
Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.