Руководство показывает запуск NVIDIA Dory 1.0 4B через llama.cpp
В программном руководстве рассматривается Dory 1.0 4B — небольшая модель рассуждений от Nemotron Labs компании NVIDIA. Ее средние слои образуют общий блок, который можно применять к каждому токену один, два, три или четыре раза. Дополнительный проход увеличивает вычисления на токен, но не число параметров. Поэтому одна контрольная точка поддерживает четыре уровня вычислительной нагрузки без дообучения.