Sakhanda Wire
NVDA $153.81 -1.49% MSFT $505.73 -2.37% GOOGL $280.00 -1.31% META $619.84 -1.05% AMZN $257.52 -0.09%
← К новостям

GPT-6 Astra реже галлюцинации, но уязвим к скрытым атакам

GPT-6 Astra допускает меньше фактических ошибок, чем GPT-5.6 Sol, и лучше противостоит нескольким видам атак через промпты, говорится в системной карте OpenAI. Для проверки галлюцинаций использовались диалоги ChatGPT, которые пользователи ранее отметили из-за неправильных ответов. Поэтому OpenAI считает эти примеры особенно сложными и не рассматривает их как показатель обычного повседневного использования. Наиболее заметный прогресс зафиксирован при низкой задержке и меньшем уровне рассуждений.

Модель заблокировала 99,99% прямых инъекций промптов, при которых пользователь пытается изменить ее поведение собственными инструкциями. OpenAI связывает результат с GPT-Red — автоматизированным методом атак, применявшимся во время обучения. В наборе известных jailbreak-атак Astra отказывалась выдавать опасные ответы в 91,5–98,3% случаев. Когда атакующие меняли стратегию в нескольких раундах диалога, показатель защиты снижался примерно до 67%. Испытания проводились на базовой модели без защитных слоев, используемых в готовом продукте.

Скрытые инструкции в документах остаются проблемой. В тесте IPI Arena компании Gray Swan, включавшем 1810 атак и 15 попыток на сценарий, Astra удалось взломать хотя бы раз в 8,5% сценариев. Для GPT-5.6 Sol показатель составил 27%, а для Claude Opus 5 — 4,8%. Это сохраняет риски для автономных агентов, которые читают документы, используют инструменты или управляют компьютерами.

Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием The Decoder

Читать оригинал на The Decoder ↗

Репортаж и изображение принадлежат The Decoder и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости