PC-ALM приближает послойное обучение к backpropagation
Исследователи Sakana AI Jeffrey Seely и Julian Gould представили Augmented Lagrangian Predictive Coding, или PC-ALM, метод обучения, задуманный как послойная альтернатива backpropagation. Он добавляет множитель Лагранжа к ограничению каждого слоя и сохраняет локальные обновления predictive coding. По данным авторов, в линейных сетях эти множители сходятся к точным сопряжённым сигналам backpropagation при выполнении условия устойчивости.
PC-ALM чередует локальное обновление активаций с двойственным шагом, накапливающим ошибку предсказания. В экспериментах остаточные MLP с шириной и глубиной от 8 до 128 обучались одну эпоху на MNIST и Fashion-MNIST. При бюджете инференса T = 2L метод сопоставим с backpropagation для всех проверенных размеров и функций активации identity, tanh и ReLU. Обычный predictive coding заметно терял качество в глубоких узких сетях.
В эталонной конфигурации на Fashion-MNIST PC-ALM получил точность 77.75% на тесте, против 78.66% у backpropagation и 68.13% у predictive coding. На MNIST метод обучил остаточные MLP глубиной 1000 слоёв с отставанием от backpropagation примерно на 2 процентных пункта. MIT-лицензированная реализация на JAX запускается на CPU, однако метод пока проверяли только на небольших наборах изображений, включая эксперименты с ResNet-18 на CIFAR-10 и Tiny ImageNet.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.