Компания DeepSeek представила DeepInfer — специализированный фреймворк для инференса, который до этого момента использовался исключительно внутри организации для обслуживания масштабных сервисов. Исходный код проекта опубликован на GitHub под лицензией Apache 2.0, что позволяет разработчикам использовать наработки компании для собственных высоконагруженных задач.
Что представляет собой DeepInfer
Данный инструмент предназначен для выполнения офлайн-инференса и включает базовые функции, необходимые для эффективной работы моделей в производственной среде. При создании архитектуры DeepInfer разработчики опирались на опыт таких известных решений, как vLLM, SGLang и TensorRT-LLM, адаптируя их под специфику своих задач.
Технические требования
Для развертывания системы пользователям потребуется настроенное окружение на базе Linux. Основные требования включают:
- Компилятор GCC версии 13.0 или выше.
- Python 3.12.
- Поддержка ускорителей: CUDA 13 для NVIDIA или CANN 9.2 для систем Ascend.
На текущий момент релиз ориентирован на экспертов и разработчиков, которым требуется высокая производительность при работе с моделями вроде DeepSeek-V4.1-Flash. Проект поставляется с готовыми скриптами для сборки из исходного кода и примерами для запуска офлайн-инференса. Стоит учитывать, что в текущую версию включены не все компоненты для создания полноценного сервиса обслуживания моделей, поэтому некоторые инфраструктурные задачи пользователям придется решать самостоятельно.
Компания также предоставила документацию по проведению бенчмарков, что позволяет оценить эффективность работы системы на различных конфигурациях оборудования, включая масштабируемые домены с использованием нескольких GPU.
Источник: github.com