Релиз модели SPARSEUP: новая перспектива в области.sparse векторных представлений

Компания Linkup Research объявила о выпуске open-source модели sparse embedding SPARSEUP, основанной на 149-ми миллионах параметров ModernBERT. Эта модель показывает отличные результаты в области sparse векторных представлений, достигая 56,4 nDCG@10 на наборе данных BEIR-13.

Эффективность модели обусловлена использованием логического shifts, расширения на 12 позиций и сжатия по случаю, что позволяет ей поддерживать векторы sparse.

Модель также демонстрирует высокую скорость и эффективность, достигая более 97% точности в течение примерно 380 микросекунд на запрос. SPARSEUP распространяется под лицензией Apache 2.0.

Этот релиз является важным шагом в области sparse векторных представлений и может иметь существенное влияние на будущее развитие этой области.

Характеристики модели SPARSEUP:

• 149 миллионов параметров ModernBERT
• Логический shift
• Расширение на 12 позиций
• Сжатие по случаю
• Более 97% точности в течение примерно 380 микросекунд на запрос