Sakhanda Wire
NVDA $153.61 -1.62% MSFT $506.27 -2.26% GOOGL $280.41 -1.17% META $623.08 -0.53% AMZN $257.66 -0.03%
← К новостям

Учебник объединяет TF-IDF и DistilBERT LoRA для анализа отзывов IMDb

В учебнике описан сквозной процесс анализа тональности на основе набора Stanford NLP IMDb Large Movie Review Dataset. Классический подход с TF-IDF и Logistic Regression сравнивается с параметрически эффективной настройкой DistilBERT с помощью LoRA через фреймворк PEFT.

Сначала создаётся воспроизводимая среда и проводится аудит данных. Проверяются порядок классов, распределение длины рецензий, утечки из-за дубликатов и артефакты предварительной обработки. Для оценки используются accuracy, macro-F1, ROC-AUC, матрицы ошибок и ROC-кривые. Отдельно рассматриваются выбор порога и калибровка вероятностей с помощью Expected Calibration Error и анализа надёжности.

Помимо сводных метрик, материал исследует уверенные ошибки, качество на отзывах разной длины, пословную saliency методом occlusion, а также усечение текста с начала и с конца. Это позволяет рассмотреть формирование предсказаний и влияние ограничений при работе с длинным контекстом. В финале немаркированная часть IMDb применяется для pseudo-labeling на основе уверенности. Полученная полуобучаемая модель сравнивается с базовой, после чего объединённый трансформер сохраняется для повторного анализа тональности.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости