Учебник объединяет TF-IDF и DistilBERT LoRA для анализа отзывов IMDb
В учебнике описан сквозной процесс анализа тональности на основе набора Stanford NLP IMDb Large Movie Review Dataset. Классический подход с TF-IDF и Logistic Regression сравнивается с параметрически эффективной настройкой DistilBERT с помощью LoRA через фреймворк PEFT.
Сначала создаётся воспроизводимая среда и проводится аудит данных. Проверяются порядок классов, распределение длины рецензий, утечки из-за дубликатов и артефакты предварительной обработки. Для оценки используются accuracy, macro-F1, ROC-AUC, матрицы ошибок и ROC-кривые. Отдельно рассматриваются выбор порога и калибровка вероятностей с помощью Expected Calibration Error и анализа надёжности.
Помимо сводных метрик, материал исследует уверенные ошибки, качество на отзывах разной длины, пословную saliency методом occlusion, а также усечение текста с начала и с конца. Это позволяет рассмотреть формирование предсказаний и влияние ограничений при работе с длинным контекстом. В финале немаркированная часть IMDb применяется для pseudo-labeling на основе уверенности. Полученная полуобучаемая модель сравнивается с базовой, после чего объединённый трансформер сохраняется для повторного анализа тональности.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.