PC-ALM доближава локалното обучение до backpropagation
Изследователите Jeffrey Seely и Julian Gould от Sakana AI представиха Augmented Lagrangian Predictive Coding, или PC-ALM — метод за обучение, замислен като локална алтернатива на backpropagation. Той добавя множител на Лагранж към ограничението на всеки слой, като запазва локалните актуализации на predictive coding. Според екипа в линейни мрежи тези множители се доближават до точните backpropagation сигнали при определено условие за стабилност.
PC-ALM редува локална стъпка за актуализиране на активациите с двойствена стъпка, която натрупва грешката от предсказанието. В експериментите остатъчни MLP мрежи с ширина и дълбочина от 8 до 128 са обучавани една епоха върху MNIST и Fashion-MNIST. При бюджет за инференция T = 2L методът съвпада с backpropagation при проверените размери и при активациите identity, tanh и ReLU, докато стандартното predictive coding се представя по-слабо при дълбоки и тесни мрежи.
В референтна конфигурация за Fashion-MNIST PC-ALM постига 77.75% точност върху тестовите данни, спрямо 78.66% за backpropagation и 68.13% за predictive coding. Методът обучава и остатъчни MLP мрежи със 1000 слоя върху MNIST с разлика от приблизително 2 процентни пункта спрямо backpropagation. MIT-лицензирана JAX реализация работи на CPU, но досега методът е тестван само върху малки набори от изображения.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.