PC-ALM наближає пошарове навчання до backpropagation
Дослідники Sakana AI Jeffrey Seely та Julian Gould представили Augmented Lagrangian Predictive Coding, або PC-ALM, метод навчання, розроблений як пошарова альтернатива backpropagation. Він додає множник Лагранжа до обмеження кожного шару, зберігаючи локальні оновлення predictive coding. За даними дослідників, у лінійних мережах ці множники за умови стабільності збігаються з точними спрямованими сигналами backpropagation.
PC-ALM чергує локальне оновлення активацій із подвійним кроком, який накопичує помилку передбачення. В експериментах залишкові MLP із шириною та глибиною від 8 до 128 навчали протягом однієї епохи на MNIST і Fashion-MNIST. За бюджету інференсу T = 2L метод зрівнявся з backpropagation для всіх перевірених розмірів і функцій активації identity, tanh та ReLU. Звичайний predictive coding різко втрачав результат у глибоких вузьких мережах.
У еталонній конфігурації на Fashion-MNIST PC-ALM досяг точності 77.75% на тесті, тоді як backpropagation показав 78.66%, а predictive coding — 68.13%. На MNIST метод навчив залишкові MLP завглибшки 1000 шарів із результатом приблизно в межах 2 відсоткових пунктів від backpropagation. Реалізація на JAX із ліцензією MIT працює на CPU, але метод поки тестували лише на невеликих наборах зображень, зокрема на ResNet-18 для CIFAR-10 і Tiny ImageNet.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.