Sakhanda Wire
NVDA $153.59 -1.64% MSFT $507.00 -2.12% GOOGL $279.98 -1.32% META $619.94 -1.03% AMZN $256.62 -0.44%
← К новостям

PC-ALM приближает послойное обучение к backpropagation

Исследователи Sakana AI Jeffrey Seely и Julian Gould представили Augmented Lagrangian Predictive Coding, или PC-ALM, метод обучения, задуманный как послойная альтернатива backpropagation. Он добавляет множитель Лагранжа к ограничению каждого слоя и сохраняет локальные обновления predictive coding. По данным авторов, в линейных сетях эти множители сходятся к точным сопряжённым сигналам backpropagation при выполнении условия устойчивости.

PC-ALM чередует локальное обновление активаций с двойственным шагом, накапливающим ошибку предсказания. В экспериментах остаточные MLP с шириной и глубиной от 8 до 128 обучались одну эпоху на MNIST и Fashion-MNIST. При бюджете инференса T = 2L метод сопоставим с backpropagation для всех проверенных размеров и функций активации identity, tanh и ReLU. Обычный predictive coding заметно терял качество в глубоких узких сетях.

В эталонной конфигурации на Fashion-MNIST PC-ALM получил точность 77.75% на тесте, против 78.66% у backpropagation и 68.13% у predictive coding. На MNIST метод обучил остаточные MLP глубиной 1000 слоёв с отставанием от backpropagation примерно на 2 процентных пункта. MIT-лицензированная реализация на JAX запускается на CPU, однако метод пока проверяли только на небольших наборах изображений, включая эксперименты с ResNet-18 на CIFAR-10 и Tiny ImageNet.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости