Посібник показує AugLy для мультимодального доповнення даних
Посібник демонструє наскрізний процес доповнення й оцінювання даних для зображень, тексту та аудіо за допомогою AugLy. Спочатку розглядаються проблеми сумісності сучасних залежностей, а потім створюються детерміновані синтетичні набори даних. Це дає змогу проводити приклади без зовнішніх завантажень і відтворювати експерименти. Підготовка також містить засоби візуалізації та багаторазово використовувані допоміжні функції.
У матеріалі досліджуються функціональний і класовий API AugLy, метадані, показники інтенсивності, імовірнісне поєднання перетворень і конвеєри з фіксованим початковим значенням. Показано перетворення з урахуванням обмежувальних рамок об’єктів і створення власних операцій. У дослідах зі стійкості перевіряється виявлення копій за перцептивним хешем після спотворення зображень. Для текстових класифікаторів оцінюється реакція на змагальні зміни, Unicode-обфускацію, санітизацію та змагальне навчання.
Окремі частини присвячені доповненню аудіо, сховищу метаданих із можливістю запитів і підключенню перетворень AugLy до наборів даних та DataLoader у PyTorch. Доповнення таким чином подається і як спосіб генерування даних, і як вимірюваний інструмент оцінювання стійкості моделей.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.