PC-ALM приближает послойное обучение к backpropagation
Исследователи Sakana AI Jeffrey Seely и Julian Gould представили Augmented Lagrangian Predictive Coding, или PC-ALM, метод обучения, задуманный как послойная альтернатива backpropagation. Он добавляет множитель Лагранжа к ограничению каждого слоя и сохраняет локальные обновления predictive coding. По данным авторов, в линейных сетях эти множители сходятся к точным сопряжённым сигналам backpropagation при выполнении условия устойчивости.