Компания DeepSeek опубликовала исходный код своего движка DeepInfer, предназначенного для высокопроизводительного инференса нейросетей. Этот инструмент является основой для работы масштабных производственных сервисов компании и теперь доступен сообществу под лицензией Apache 2.0.
Возможности и архитектура
Релиз DeepInfer ориентирован на задачи офлайн-инференса и включает базовые функции, необходимые для развертывания моделей в промышленных масштабах. В основе проекта лежат наработки популярных решений vLLM, SGLang и TensorRT-LLM, которые послужили архитектурным вдохновением для создания собственного фреймворка.
Для работы с DeepInfer пользователям потребуется:
- ОС Linux с установленным GCC версии 13.0 и выше;
- Python 3.12;
- Поддержка аппаратного ускорения: CUDA 13 для видеокарт NVIDIA или CANN 9.2 для чипов Ascend.
На данный момент проект поддерживает автоматическую загрузку весов моделей через Hugging Face, однако разработчики предусмотрели возможность использования локальных копий чекпоинтов, таких как DeepSeek-V4.1-Flash-1017, для ускорения запуска.
Практическое применение
В репозитории проекта уже представлены примеры скриптов для запуска офлайн-инференса, а также инструменты для воспроизведения бенчмарков производительности. Стоит учитывать, что текущий релиз охватывает только ядро системы, необходимое для вычислений, поэтому для создания полноценного сервиса обслуживания запросов потребуется дополнительная интеграция компонентов, не включенных в текущую сборку.
Разработчики DeepSeek отмечают, что DeepInfer позволяет эффективно масштабировать нагрузку, что подтверждается внутренними тестами на кластерах из десятков графических ускорителей. Исходный код уже доступен на GitHub для всех желающих изучить архитектуру и внедрить её в свои проекты.
Источник: github.com