Встреча LEANN: Открытая исходная векторная индексация, сокращающая RAG-индекс на 60 миллионов блоков с 201 ГБ до 6 ГБ

Ученые из Калифорнийского университета в Беркли представили новую открытую исходную векторную индексацию LEANN, которая позволяет сократить объем RAG-индекса на 60 миллионов блоков с 201 ГБ до 6 ГБ.

LEANN хранит обрезанную графическую структуру и пересчитывает векторные представления при запросе. По данным разработчиков, индекс LEANN соответствует точности HNSW на уровне 90% точности использования 4 ГБ вместо 188 ГБ, при этом время поиска увеличивается на несколько секунд.

Внедрение LEANN может иметь значительные последствия для таких областей как обработка естественного языка, рекомендательные системы и поисковые алгоритмы.

Преимущества LEANN

LEANN предлагает следующие преимущества:

• Сокращение объема индекса на 95%
• Пониженная требуемая память на 97%
• Пониженное время поиска на несколько секунд