Фильтр Anthropic для защиты от биологического оружия не работал почти год, оставив без фильтрации 133 млн запросов

От компании, генеральный директор которой называет разработку химического и биологического оружия с помощью ИИ более серьёзной угрозой, чем кибератаки, поступил отчёт о безопасности, из которого следует, что биологические классификаторы Anthropic, блокирующие опасный контент, не работали с мая 2025 года по апрель 2026 года. Эти фильтры предназначены для предотвращения использования моделей ИИ с целью получения опасных знаний о химическом или биологическом оружии. Почти год весь трафик от внешних подрядчиков, предоставлявших обратную связь от людей, проходил без их участия.

Проблема затронула около 50 000 человек, которые провели с моделями примерно 133 миллиона чатов. Согласно Anthropic, проверкой этих людей занимались только внешние подрядчики, чьи процедуры проверки часто были недостаточными. Anthropic заявляет, что внутреннее расследование не выявило доказательств фактического неправомерного использования. С тех пор компания ужесточила требования к подрядчикам.

Anthropic также недавно ослабила классификаторы в Fable 5 после жалоб исследователей на то, что фильтры были настолько агрессивными, что блокировали легитимные исследования.

Новости об ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, эксклюзивный годовой отчёт о передовых разработках «AI Radar» шесть раз в год, полный доступ к архиву и возможность комментировать материалы.