OpenAI представила GPT-6 Astra на тлі питань щодо надійності
OpenAI представила GPT-6 Astra, назвавши модель стрибком поколіннєвого рівня за її можливостями. Компанія пов’язує її застосування з кібербезпекою, професійною роботою, розробленням програмного забезпечення, наукою та керуванням комп’ютером. В OpenAI заявляють, що Astra є їхньою «найбільш узгодженою з людськими інтересами моделлю» і допомагає делегувати складні завдання, зберігаючи нагляд користувача.
Водночас презентація привернула увагу до проблем надійності та узгодження поведінки моделей із людськими інтересами. Головний науковий співробітник OpenAI Якуб Пачоцкі заявив журналістам, що зростання інтелекту не гарантує покращення узгодженості. За його словами, стежити за системами штучного інтелекту стає дедалі складніше.
Дослідники нещодавно висловили занепокоєння повідомленнями про те, що Astra може використовувати «opaque recurrence». Як стверджується, це робить ланцюжок міркувань моделі недоступним для читання. Дослідники використовують такий внутрішній запис як «ментальний чернетковий блокнот», щоб перевіряти, чи не планує модель діяти проти людей, які її оцінюють. Це ускладнює оцінювання нагляду за Astra.
Текст підготовлено ШІ Sakhanda Wire за матеріалом The Verge. Факти, цитати та повний контекст — в оригінальній статті нижче.