Знайомтеся: LEANN — векторний індекс із відкритим кодом, який стискає RAG-індекс із 60 млн фрагментів зі 201 ГБ до 6 ГБ
Лабораторія Sky Computing Lab Каліфорнійського університету в Берклі створила LEANN — векторний індекс із відкритим кодом, який зберігає майже жодних ембедингів. Векторний індекс LEANN повторно обчислює ембединги під час виконання запиту замість збереження їх на диску. Бенчмарк репозиторію показує, що індекс Вікіпедії на 60 мільйонів фрагментів скорочується зі 201 ГБ до 6 ГБ. Наукова стаття отримала нагороду за найкращу наукову статтю на MLSys 2026. Отже, вона забезпечує семантичний пошук і RAG для персональних даних на ноутбуці.
Коротко
- Розмір: 6 ГБ для 60 млн фрагментів (репозиторій); 4 ГБ у описаній у статті конфігурації з Вікіпедією обсягом 76 ГБ. Стандартний ембедер: Contriever (110 млн параметрів). Це індекс, а не LLM, тому обмеження довжини контексту не застосовується.
- Працює на: ноутбуках і робочих станціях. У статті тестували систему з RTX 4090 і 32 ГБ оперативної пам’яті, а також Mac із M1 Ultra. Існує встановлення лише для CPU на Linux, але опублікованих даних про затримку на CPU немає.
- Продуктивність: відповідає точності HNSW на наступному етапі за повноти 90%, використовуючи менш як 5% сховища сирих даних.
- Найкращий результат: точність 25,5% на NQ, ідентична HNSW, із використанням 4 ГБ замість 188 ГБ.
- Найгірший результат: отримання даних у HotpotQA займає 44,80 с на Mac — 50,1% загального часу конвеєра.
Що таке LEANN?
LEANN — це векторний індекс наближених найближчих сусідів (ANN) із низькими вимогами до сховища, побудований на основі FAISS. Він розв’язує одну проблему: векторні індекси часто більші за дані, які вони індексують. Наукова стаття показує, що корпус обсягом 76 ГБ потребує 173 ГБ ембедингів і ще 15 ГБ графа HNSW. Це більш ніж удвічі перевищує обсяг сирих даних.
LEANN зберігає проріджений граф, відкидає повні вектори та відновлює їх за потреби. Код поширюється за ліцензією MIT і встановлюється командою uv pip install leann.
Як LEANN повторно обчислює ембединги, не сповільнюючи пошук?
Графові індекси, як-от HNSW, відвідують лише невелику кількість вузлів для кожного запиту. LEANN використовує це. Він зберігає граф разом із компактною таблицею продуктивного квантування (PQ). Під час виконання запиту він повторно створює ембединги лише для вузлів на шляху пошуку.
3 методи роблять це практичним:
- Дворівневий пошук: дешеві відстані PQ спочатку ранжують сусідів. Лише для найкращих кандидатів виконується точне повторне обчислення.
- Динамічне пакетування: кандидати з кількох переходів об’єднуються, наприклад по 64 за раз, для ефективнішого використання GPU.
- Проріджування зі збереженням вузлів високого ступеня: більшість вузлів зберігають небагато ребер, тоді як 2% найвищих за ступенем вузлів-«хабів» зберігають більше.
В абляційних дослідженнях дворівневий пошук забезпечує середнє прискорення в 1,4 раза. Додавання пакетування підвищує його до 1,8 раза. Повторне обчислення ембедингів усе ще становить близько 76% затримки запиту.
Як LEANN показує себе в бенчмарках?
Дослідницька команда протестувала NQ, TriviaQA, GPQA та HotpotQA на сховищі RPJ-Wiki із 60 млн уривків. Затримку вимірювали за Recall@3 на рівні 90%. Усі наведені нижче показники є самостійно заявленими в дослідницькій статті.
На NQ із Qwen3-4B на RTX 4090 LEANN і HNSW досягають однакової точності на наступному етапі — 25,5%. LEANN використовує 4 ГБ сховища. HNSW використовує 188 ГБ. BM25 набирає 18,3%, а стиснення PQ — 17,9%.
Ціною цього є час пошуку. Отримання даних LEANN на NQ займає 2,48 с проти 0,05 с у HNSW. Генерація триває близько 20 с, тому наскрізна затримка зростає з 20,95 с до 23,34 с.
На різних наборах даних із RTX 4090 отримання даних LEANN займає від 1,12 с (GPQA) до 7,12 с (HotpotQA). Базовий метод повторного обчислення на основі IVF, натхненний EdgeRAG, працює до 200 разів повільніше. LEANN покращує показник exact match до 11,8% порівняно з BM25.
Репозиторій GitHub повідомляє про подібну економію для персональних даних. 400 тис. повідомлень у чатах зменшуються з 1,8 ГБ до 64 МБ. 38 тис. записів браузера — зі 130 МБ до 6,4 МБ.
LEANN порівняно з іншими векторними індексами
| Характеристика | LEANN | HNSW (FAISS) | DiskANN | IVF-Recompute (у стилі EdgeRAG) | Стиснення PQ |
|---|---|---|---|---|---|
| Підхід | Проріджений граф, повторне обчислення за потреби | Граф і всі вектори в RAM | Граф і вектори на SSD, PQ у RAM | Кластери IVF, повторне обчислення за потреби | Стиснені вектори та граф |
| Сховище, корпус 76 ГБ | 4 ГБ | 188 ГБ | 270 ГБ | Менше 5% сирих даних | 20 ГБ |
| Отримання даних NQ за повноти 90% (RTX 4090) | 2,48 с | 0,05 с | 0,03 с | 307,61 с | Не досягає 90% |
| Отримання даних HotpotQA за повноти 90% (RTX 4090) | 7,12 с | 0,05 с | 0,11 с | 429,46 с | Не досягає 90% |
| Точність на наступному етапі для NQ (Qwen3-4B) | 25,5% | 25,5% | Не розкрито | Не розкрито | 17,9% |
| Працює на робочій станції з 32 ГБ RAM | Так | Ні (OOM) | Так | Так | Так |
| Ліцензія | MIT | MIT | MIT | Не розкрито | Залежить від реалізації |
Показники сховища, затримки та точності взято зі статті про LEANN, версія 2, таблиці 1 і 2 та розділ 7.2 (самостійно заявлені). Рядки про ліцензію та дизайн містять посилання на власні джерела кожного проєкту.
Де розробники можуть використовувати LEANN?
Репозиторій містить готові застосунки для документів, Apple Mail, історії Chrome, WeChat, iMessage, а також експорту з ChatGPT або Claude. Читачі MCP отримують актуальні дані зі Slack і закладок Twitter. LEANN також працює як сервер семантичного пошуку MCP для Claude Code.
Для 30 завдань SWE-Bench Pro із ContextBench команда повідомляє про початкову повноту релевантного коду на рівні 24,2% проти 11,4% у BM25. Агент також використав на 8,4% менше токенів.
HNSW є стандартним бекендом, а DiskANN використовується для швидшого пошуку. Генерація працює з Ollama, Hugging Face, Anthropic або будь-яким API, сумісним з OpenAI. Підтримуються Ubuntu, Arch, WSL, macOS і Windows. Деякі застосунки, як-от пошук в Apple Mail, працюють лише на macOS.
Основні висновки
- LEANN зберігає проріджений граф і повторно обчислює ембединги під час виконання запиту.
- 60 млн фрагментів: зі 201 ГБ до 6 ГБ у бенчмарку репозиторію.
- Відповідає точності HNSW (25,5% на NQ) за повноти 90%.
- Пошук займає секунди: 2,48 с проти 0,05 с у HNSW на NQ.
- Ліцензія MIT і нагорода за найкращу наукову статтю MLSys 2026.
Ознайомтеся зі статтею, репозиторієм GitHub і пакетом PyPI. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого субреддіту ML із понад 150 тис. учасників та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? тепер ви також можете приєднатися до нас у Telegram.
Потрібно співпрацювати з нами для просування вашого репозиторію GitHub, сторінки Hugging Face, випуску продукту, вебінару тощо? Зв’яжіться з нами
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.