Kinference: Управление Инференсом для Kubernetes и vLLM

Компания Buoyant анонсировала выпуск Kinference - открытой системы управления инференсом для Kubernetes и vLLM.

Kinference позволяет создавать и управлять инференсными задачами на основе Kubernetes, обеспечивая высокую эффективность и управляемость.

Система включает в себя следующие ключевые функции:

Декларативные политики маршрутизации

Декларативные политики маршрутизации позволяют создавать гибкие маршруты для инференсных задач, что повышает эффективность и управляемость.

Кэширование ключ-значение и балансирование нагрузки

Кэширование ключ-значение и балансирование нагрузки позволяют оптимизировать работу инференсных задач, уменьшая время ожидания и повышая производительность.

Переносные метрики

Переносные метрики позволяют отслеживать и анализировать работу инференсных задач на уровне каждого пользователя, что повышает управляемость и эффективность.

По результатам внутреннего бенчмарка Buoyant удалось снизить медианное время ожидания (TTFT) на 95%, что еще больше подтверждает эффективность Kinference.

Если вы ищете эффективную и управляемую систему управления инференсом для Kubernetes и vLLM, Kinference - идеальный выбор.

Представьте, как Kinference может помочь вашей компании:

Управляйте инференсными задачами на основе Kubernetes и vLLM.

Повышайте эффективность и управляемость инференсных задач.

Отслеживайте и анализируйте работу инференсных задач на уровне каждого пользователя.