Руководство показывает запуск NVIDIA Dory 1.0 4B через llama.cpp

В программном руководстве рассматривается Dory 1.0 4B — небольшая модель рассуждений от Nemotron Labs компании NVIDIA. Ее средние слои образуют общий блок, который можно применять к каждому токену один, два, три или четыре раза. Дополнительный проход увеличивает вычисления на токен, но не число параметров. Поэтому одна контрольная точка поддерживает четыре уровня вычислительной нагрузки без дообучения.

Руководство собирает ветку llama.cpp, указанную в карточке модели NVIDIA, и загружает GGUF-файл размером 3,7 ГБ. Архитектура считывается непосредственно из файла, чтобы заранее оценить затраты параметров и объем key-value-кэша для каждого числа циклов. В описанной структуре есть 16 входных, 40 общих рекуррентных и 16 выходных записей слоев; встроенное значение по умолчанию — четыре цикла.

Затем эти оценки сопоставляются с показателями работающего сервера. Для каждого варианта измеряется скорость декодирования, а также проверяется, меняются ли предсказания при использовании более дешевого кэша только для последнего цикла. Парная оценка на GSM8K показывает, как число циклов связано с точностью, длиной ответа и временем на каждый решенный вопрос.