Проектирование долговечной инфраструктуры для обслуживания ИИ

Следующее конкурентное преимущество в корпоративном ИИ в меньшей степени связано с выбором модели, чем с тем, что вы создаёте вокруг неё.

Это важный сдвиг. Последние несколько лет значительная часть дискуссий об ИИ была сосредоточена на возможностях моделей: более крупные модели, более эффективное рассуждение, более длинные контекстные окна, более высокие результаты в бенчмарках. Эти достижения были поистине выдающимися. Но по мере того как ИИ переходит от экспериментов к промышленной эксплуатации, вопрос, стоящий перед руководителями компаний, изменился: теперь речь уже не о том, «что умеет модель?», а о том, «можем ли мы надёжно, экономично и в масштабе предоставлять эти интеллектуальные возможности?»

Всё чаще ответ зависит от среды обслуживания — инженерной системы, окружающей модель, включая архитектуру, управление памятью, планирование и решения по оптимизации, которые определяют, насколько эффективно интеллектуальные возможности модели превращаются в рабочий производственный ресурс.

Для технических руководителей это меняет приоритеты инвестиций в ИИ — и требования к поддерживающей его архитектуре.

Начинайте с рабочей нагрузки, а не с модели

Не существует универсально «лучшей» модели или архитектуры ИИ. Существует лишь правильное решение для конкретной бизнес-задачи.

К ассистенту для взаимодействия с клиентами, оптимизированному для быстрых ответов, предъявляются принципиально иные требования, чем к конвейеру обработки документов, который может работать всю ночь. Внутреннее приложение для работы со знаниями и высоконагруженная платформа обслуживания клиентов могут использовать одну и ту же базовую модель, но требовать совершенно разной архитектуры обслуживания.

Именно рабочая нагрузка определяет ограничения. Архитектура должна определяться этими ограничениями.

Это звучит просто, но противоречит подходу, которым многие организации пользовались при первых внедрениях ИИ. В ходе проверки концепции обсуждение закономерно сосредоточено на точности модели. При переходе к промышленной эксплуатации возникают ограничения, которые гораздо легче игнорировать, когда системой пользуются всего несколько человек: задержка, параллелизм, нагрузка на память, загрузка GPU, стоимость инфраструктуры и непредсказуемый трафик.

Модель, выдающая ответы лишь немного лучше, не обязательно является лучшим выбором для промышленной эксплуатации, если она вдвое увеличивает стоимость инференса или не позволяет уложиться в требования приложения к задержке. Не каждой рабочей нагрузке нужен Ferrari. Иногда более разумным инженерным решением становится модель, которая обеспечивает именно ту производительность, которая нужна бизнесу, без оплаты возможностей, в которых нет необходимости.

Цель должна заключаться во внедрении нужного уровня интеллектуальных возможностей по правильной стоимости для конкретной рабочей нагрузки. Поэтому архитектура обслуживания — это не только инженерный вопрос. Это также инвестиционное решение: сколько средств направить на вычисления, что оптимизировать и в каких случаях дополнительные возможности модели просто не оправдывают затрат.

Проектируйте систему, а не модель

Как только ИИ переходит в промышленную эксплуатацию, инженерные решения, которые прежде казались изолированными, начинают влиять друг на друга. Архитектура обслуживания влияет на использование памяти. Управление памятью влияет на параллелизм. Параллелизм определяет пакетную обработку и планирование, а планирование влияет на загрузку GPU и задержку.

Только тогда такие методы, как квантование, спекулятивное декодирование или оптимизированные механизмы внимания, могут раскрыть свою полную ценность. Эта взаимозависимость важна, поскольку организации могут значительно увеличить расходы на инфраструктуру, не устранив ограничение, сдерживающее производительность.

Память GPU — хороший тому пример. Во время инференса веса модели остаются неизменными, но кэш ключей и значений (KV-кэш) растёт вместе с числом активных запросов и длиной контекста. При увеличении параллелизма в системе может закончиться доступная память GPU, даже если вычислительные ресурсы ещё не исчерпаны. Добавление вычислительных мощностей без понимания этого узкого места может лишь сделать неэффективную систему дороже.

Вывод для технологических руководителей шире, чем просто управление памятью: сначала измеряйте, а потом оптимизируйте. Определите основное ограничение. Устраните его. Измерьте результат. Затем выясните, не возникло ли другое узкое место. Повторяйте этот процесс.

Не воспринимайте методы оптимизации как карточки Pokémon: цель не в том, чтобы собрать их все. Цель — применить метод, который устраняет наиболее существенное ограничение, сохраняя при этом бизнес-требования приложения.

Для технологических руководителей это требует иного подхода к управлению. Вместо того чтобы спрашивать, какие возможности ИИ может внедрить организация, следует выяснять, какие ограничения отделяют проверенную технологическую возможность от устойчивой бизнес-ценности.

Проектируйте с учётом изменений, а не сегодняшних результатов бенчмарков

Возможно, самая важная причина инвестировать в среду обслуживания заключается в том, что сегодняшняя ведущая модель, скорее всего, не будет ведущей завтра. Модели будут совершенствоваться. Аппаратное обеспечение будет развиваться. Появятся новые методы оптимизации. Архитектура, окружающая модели, должна облегчать внедрение этих изменений, а не вынуждать компанию перестраивать платформу ИИ каждый раз, когда технологии делают шаг вперёд.

Поэтому адаптивность становится всё более важным результатом стратегии в области ИИ.

Организации, создающие системы обслуживания с учётом требований рабочих нагрузок, чётких целевых показателей уровня обслуживания и измеримой экономики промышленной эксплуатации, получают возможность оценивать новые модели и инфраструктуру с точки зрения реальных потребностей бизнеса. Смена модели может стать вопросом оценки и настройки, а не полной перестройки архитектуры.

Исследователи EXL подробно изучили эти проблемы промышленной эксплуатации в серии материалов EXL Engineering the Harness. В ней рассматривается, как архитектура обслуживания, управление памятью, планирование и оптимизация инференса совместно делают корпоративный ИИ более эффективным, масштабируемым и экономически устойчивым.

Всё чаще предприятия получают доступ ко многим одним и тем же моделям. Устойчивое отличие от конкурентов определяется тем, насколько эффективно организация превращает эти интеллектуальные возможности в бизнес-результаты.

Модель предоставляет интеллектуальные возможности. Среда обслуживания определяет, сможет ли компания надёжно, экономично и в масштабе обеспечивать бизнес-результаты.

Этот материал подготовлен компанией EXL. Он не был написан редакцией MIT Technology Review.