Ръководство показва как Dory 1.0 4B работи с llama.cpp

Програмен урок разглежда Dory 1.0 4B — компактен модел за разсъждение, разработен от Nemotron Labs на NVIDIA. Средните му слоеве образуват споделен блок, който може да се изпълнява един, два, три или четири пъти за всеки токен. Повече итерации увеличават изчисленията за токен, но не и броя на параметрите, така че една контролна точка предлага четири нива на изчислителен бюджет без ново обучение.

Ръководството компилира клона на llama.cpp, посочен в картата на модела на NVIDIA, и изтегля GGUF файл с размер 3,7 GB. Архитектурата се прочита директно от файла, за да се изчислят очакваните разходи за параметри и паметта за key-value кеша при всяка настройка. Вградената структура включва 16 входни, 40 споделени рекурентни и 16 изходни слоя; зададеният по подразбиране брой итерации е четири.

След това урокът сравнява прогнозите с измервания от работещия сървър. Измерва се скоростта на декодиране при всички стойности и се проверява дали по-евтиният кеш само за последната итерация променя предсказанията. Сдвоена оценка върху GSM8K проследява връзката между броя итерации, точността, дължината на отговорите и времето за всеки решен въпрос.