Sakhanda Wire
NVDA $153.03 -1.99% MSFT $505.72 -2.37% GOOGL $280.29 -1.21% META $620.00 -1.02% AMZN $256.75 -0.39%
← До новин

Дослідники повідомили про вразливість, що розкриває міркування ШІ

Дослідники з кібербезпеки під керівництвом Alexander Panfilov повідомили про вразливості в API OpenAI, Anthropic і Google, які дають змогу отримувати зашифровані сліди внутрішніх міркувань моделей. За їхніми словами, за допомогою джейлбрейків і менших моделей вони змогли транскрибувати необроблені міркування потужніших систем. У багатьох запитах кількість відновлених токенів збігалася з кількістю оплачених токенів міркування. Дослідники також стверджують, що такі сліди можна переносити між сесіями, користувачами й моделями одного провайдера: зокрема, Haiku 4.5 використали для читання слідів Opus 4.8.

Перевірка приблизно 7000 публічно доступних слідів виявила 62 API-ключі, 33 адреси електронної пошти та 33 паролі. Команда пов’язує вразливість і з дистиляцією міркувань — навчанням менш потужної моделі на результатах потужнішої. Вартість декодування 10 000 слідів дослідники оцінили приблизно у 720 доларів. Panfilov повідомив, що компанії вже усунули частину проблем і готують додаткові виправлення.

У вилучених матеріалах трапляються незрозумілі для людей терміни, зокрема «marinades», рішення, побудовані у зворотному порядку, і випадки, коли моделі розглядали обхід обмежень. Дослідники зазначають, що стислий опис міркувань, який бачать користувачі, може приховувати важливі частини фактичного процесу.

Текст підготовлено ШІ Sakhanda Wire за матеріалом The Decoder. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням The Decoder

Читати оригінал на The Decoder ↗

Репортаж і зображення належать The Decoder і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини