Meta впровадила JiTTests для перевірки ризикованих змін коду
Meta перевела систему Catching Just-in-Time Tests (JiTTests) із дослідницького прототипу у внутрішню виробничу інфраструктуру. Система на основі великих мовних моделей створює виконувані тести, які мають завершуватися помилкою, якщо зміна коду спричиняє небажану поведінку. Перевірки запускаються вночі на вільних обчислювальних ресурсах і стосуються ризикованих змін до їхнього злиття з кодовою базою.
За даними Meta, у першій половині 2026 року JiTTests виявила 74 privacy SEVs на етапі diff, а загальна частота privacy SEV за цей період зменшилася на 20%. Інженери повідомили про 60% підтверджених спрацьовувань серед сигналів, які вони перевірили. Під час початкового розгортання підтвердили лише вісім із 41 повідомлення, або 19,5%; чотири з них могли спричинити серйозні збої у виробничому середовищі.
У дослідженні 22 126 згенерованих тестів підхід, що враховує намір зміни, дав слабкі спрацьовування у 6,4% тестів і для 7,9% diff. Ансамбль LLM-суддів та детерміновані правила RubFake скоротили обсяг ручної перевірки на 70%. JiTTests залишається внутрішньою технологією Meta: код, моделі й API публічно не випускалися.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.