Meta внедрила JiTTests для проверки рискованных изменений кода
Meta перевела систему Catching Just-in-Time Tests (JiTTests) из исследовательского прототипа во внутреннюю производственную инфраструктуру. Система на основе больших языковых моделей создает исполняемые тесты, которые должны завершаться ошибкой, если изменение кода вносит нежелательное поведение. Проверка выполняется ночью на свободных вычислительных ресурсах и направлена на рискованные изменения до их слияния с кодовой базой.
По данным Meta, в первой половине 2026 года JiTTests обнаружила 74 privacy SEVs на этапе diff, а общая частота privacy SEV за этот период снизилась на 20%. Инженеры сообщили о 60% подтвержденных срабатываний среди проверенных системой сигналов. На раннем этапе внедрения результат был ниже: из 41 сообщения подтвердились восемь, то есть 19,5%; четыре из них могли привести к серьезным сбоям в рабочей среде.
В исследовании 22 126 сгенерированных тестов ориентированный на намерение подход дал слабые срабатывания в 6,4% тестов и для 7,9% diff. Ансамбль LLM-судей и детерминированные правила RubFake сократили объем ручной проверки на 70%. JiTTests остается внутренней технологией Meta: публичные код, модели и API не выпущены.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.