Посібник пояснює запуск NVIDIA Dory 1.0 4B через llama.cpp
Програмний посібник розглядає Dory 1.0 4B — компактну модель міркування від Nemotron Labs компанії NVIDIA. Її середні шари утворюють спільний блок, який можна застосовувати до кожного токена один, два, три або чотири рази. Кожен додатковий прохід збільшує обсяг обчислень на токен, але не кількість параметрів. Завдяки цьому одна контрольна точка працює на чотирьох рівнях обчислювального бюджету без повторного навчання.