Sakhanda Wire
NVDA $153.59 -1.64% MSFT $507.00 -2.12% GOOGL $279.98 -1.32% META $619.94 -1.03% AMZN $256.62 -0.44%
← До новин

PC-ALM наближає пошарове навчання до backpropagation

Дослідники Sakana AI Jeffrey Seely та Julian Gould представили Augmented Lagrangian Predictive Coding, або PC-ALM, метод навчання, розроблений як пошарова альтернатива backpropagation. Він додає множник Лагранжа до обмеження кожного шару, зберігаючи локальні оновлення predictive coding. За даними дослідників, у лінійних мережах ці множники за умови стабільності збігаються з точними спрямованими сигналами backpropagation.

PC-ALM чергує локальне оновлення активацій із подвійним кроком, який накопичує помилку передбачення. В експериментах залишкові MLP із шириною та глибиною від 8 до 128 навчали протягом однієї епохи на MNIST і Fashion-MNIST. За бюджету інференсу T = 2L метод зрівнявся з backpropagation для всіх перевірених розмірів і функцій активації identity, tanh та ReLU. Звичайний predictive coding різко втрачав результат у глибоких вузьких мережах.

У еталонній конфігурації на Fashion-MNIST PC-ALM досяг точності 77.75% на тесті, тоді як backpropagation показав 78.66%, а predictive coding — 68.13%. На MNIST метод навчив залишкові MLP завглибшки 1000 шарів із результатом приблизно в межах 2 відсоткових пунктів від backpropagation. Реалізація на JAX із ліцензією MIT працює на CPU, але метод поки тестували лише на невеликих наборах зображень, зокрема на ResNet-18 для CIFAR-10 і Tiny ImageNet.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини