Посібник поєднує TF-IDF і DistilBERT LoRA для аналізу відгуків IMDb
Посібник описує наскрізний процес аналізу тональності на основі набору Stanford NLP IMDb Large Movie Review Dataset. Класичний підхід із TF-IDF і Logistic Regression порівнюється з параметрично ефективним донавчанням DistilBERT за допомогою LoRA через фреймворк PEFT.
Робота починається з відтворюваного середовища та аудиту даних. Перевіряються порядок класів, розподіл довжини рецензій, витік через дублікати й артефакти попередньої обробки. Для оцінювання застосовуються accuracy, macro-F1, ROC-AUC, матриці помилок і ROC-криві. Також аналізуються вибір порога та калібрування ймовірностей за допомогою Expected Calibration Error і аналізу надійності.
Окремі частини матеріалу присвячені впевненим помилкам, якості на відгуках різної довжини, послівній saliency методом occlusion і обрізанню тексту з початку або кінця. Це допомагає дослідити формування прогнозів і вплив обмежень під час роботи з довгим контекстом. Наприкінці немаркований розділ IMDb використовується для pseudo-labeling на основі впевненості. Напівкеровану модель порівнюють із базовою, а об’єднаний трансформер зберігають для повторного аналізу тональності.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.