Посібник пояснює запуск NVIDIA Dory 1.0 4B через llama.cpp

Програмний посібник розглядає Dory 1.0 4B — компактну модель міркування від Nemotron Labs компанії NVIDIA. Її середні шари утворюють спільний блок, який можна застосовувати до кожного токена один, два, три або чотири рази. Кожен додатковий прохід збільшує обсяг обчислень на токен, але не кількість параметрів. Завдяки цьому одна контрольна точка працює на чотирьох рівнях обчислювального бюджету без повторного навчання.

У матеріалі збирають гілку llama.cpp, зазначену в картці моделі NVIDIA, і завантажують GGUF-файл обсягом 3,7 ГБ. Архітектуру читають безпосередньо з файла, щоб оцінити витрати параметрів і розмір key-value-кешу для кожної кількості циклів. Структура містить 16 вхідних, 40 спільних рекурентних і 16 вихідних записів шарів; встановлене у файлі значення за замовчуванням становить чотири цикли.

Далі прогнозовані показники порівнюють із вимірюваннями запущеного сервера. Для кожного варіанта фіксують швидкість декодування та перевіряють, чи впливає дешевший кеш лише для останнього циклу на передбачення. Парне оцінювання на GSM8K вивчає зв’язок між кількістю циклів, точністю, довжиною відповіді та часом на кожне розв’язане завдання.