AI Observatory изучает реальное использование искусственного интеллекта
Компании Anthropic и OpenAI регулярно публикуют отчёты об использовании Claude и ChatGPT, однако исследователи считают их неполными. Новый проект AI Observatory, который совместно возглавляют исследовательница Stanford Anka Reuel и Shayne Longpre, объединяет и анализирует разговоры, предоставленные пользователями с их согласия, из семи существующих наборов данных. Проект должен дать исследователям и разработчикам политики независимый источник сведений.
Команда изучила 24 521 разговор и 85 633 обмена сообщениями между пользователем и моделью. В выборку вошли 5 000 пользователей и 52 модели, взаимодействие с которыми происходило в 2023–2025 годах. Если применить методику Anthropic, ориентированную на рабочие задачи, 48% разговоров были бы исключены. В исключённой части чаще встречались темы здоровья и отношений, материалы для взрослых или незаконный контент, домогательства и язык ненависти, а также сексуальный контент.
Характер использования зависел от модели. Grok и Gemini чаще применялись для поиска информации; в Grok особенно часто обсуждались новости и политика, и именно там исследователи обнаружили концентрацию дезинформации. Anthropic чаще использовали для программирования, Gemini — для социальных и ролевых взаимодействий, а ChatGPT — для помощи с домашними заданиями. В наборе WildChat со временем разговоры стали длиннее и сложнее, а светская беседа участилась; при этом чувствительных обменов стало меньше. Исследователи предупреждают, что добровольно предоставленные данные не отражают всю картину и могут недооценивать чувствительные сценарии.
Текст подготовлен ИИ Sakhanda Wire по материалу MIT Tech Review. Факты, цитаты и полный контекст — в оригинальной статье ниже.