LAION выпустила огромный открытый набор видеоданных с 10 миллионами часов видеоматериалов для исследований ИИ

LAION выпустила Большой набор видеоданных (BVD) — один из крупнейших открытых наборов видеоданных для исследований ИИ. Он создан на основе 1,3 миллиарда URL-адресов видео, найденных в CommonCrawl. Команда скачала 80 миллионов из этих видео общей продолжительностью 10 миллионов часов и извлекла 55 миллионов клипов с автоматически созданными описаниями видео и аудио, а также 300 миллионов неподвижных изображений.

Согласно статье, модели, обученные на BVD, превосходят сопоставимые модели, обученные на InternVid, на величину до 2,1 процентного пункта в распространённых тестах преобразования видео в текст. В процессе обучения видео, аудио и текст связываются между собой: модель учится определять, какой визуальный контент соответствует тем или иным описаниям или звукам.

LAION выпускает этот набор только для исследовательских целей. С юридической точки зрения организация, вероятно, может сослаться на решение Земельного суда Гамбурга от 2024 года, разрешившее ей собирать защищённый авторским правом контент для некоммерческих исследований. LAION просит пользователей уважать права создателей оригинального контента. Набор данных и код доступны бесплатно.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, наш эксклюзивный обзор передовых разработок «AI Radar» шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.