DeepSeek открыла офлайн-версию движка вывода DeepInfer

Подробно

Что именно DeepSeek выложила в открытый доступ?

Первый публичный коммит в репозитории deepseek-ai/DeepInfer называется «initial commit» и датирован 20.10.2026 12:09:42 по пекинскому времени (07:09:42 мск). Его автор - Jiashi Li с адресом в домене high-flyer.cn. Коммит добавил 345 файлов и 63 326 строк кода.

DeepSeek так описывает проект в README:

«DeepInfer - высокопроизводительный inference-фреймворк, на котором работают крупномасштабные продакшен-сервисы DeepSeek».

В документе с вопросами и ответами о развёртывании компания пишет: «Сегодня мы открываем исходный код DeepInfer - нашего inference-фреймворка для крупномасштабных облачных сервисов». В корпоративном аккаунте в X DeepSeek объяснила цель публикации: «Мы делимся своим производственным стеком, чтобы помочь сообществу снизить вычислительные затраты и энергопотребление и сделать ИИ доступнее».

В релиз вошли:

• оптимизированные ядра и runtime модели и сэмплера;
• Attention DP и balanced CP;
• экспертный параллелизм MoE EP с балансировщиком EPLB;
• механизм DSpark с планированием проверки по уверенности;
• SWA bounded replay;
• асинхронный планировщик;
• batch-invariant inference и детерминированное сэмплирование (только для NVIDIA);
• структурированный вывод по regex, JSON Schema или EBNF.

По данным разработчиков, DeepInfer изначально строился в основном на базе vLLM. Также на него повлияли SGLang и TensorRT-LLM.

Какие модели и оборудование поддерживает DeepInfer?

На момент проверки официально поддерживается только DeepSeek-V4.1-Flash. Пример по умолчанию загружает контрольную точку deepseek-ai/DeepSeek-V4.1-Flash-1017. Эту версию компания выпустила 17 октября, за три дня до DeepInfer: выложила веса в открытый доступ и перевела на неё сайт, приложение и API. Способ вызова и цена API при этом не изменились.

Список поддерживаемого оборудования узкий: ускорители NVIDIA с архитектурой SM100 и NPU Huawei Ascend 950. Для запуска нужны:

• Linux;
• GCC 13.0 или новее;
• Python 3.12;
• CUDA 13 для NVIDIA или CANN 9.2 для Ascend.

Масштабы, о которых пишет DeepSeek, относятся к её собственной инфраструктуре, а не к минимальным требованиям офлайн-примера. Минимальной эффективной конфигурацией полного разнесённого сервиса компания называет 64 GPU для prefill и ещё 64 GPU для decode.

Чего нет в открытой версии DeepInfer?

Публичный релиз даёт офлайн-инференс с основными возможностями для обслуживания нагрузки в масштабе. Готового облачного сервиса или HTTP/API-сервера в нём нет. Также не вошли:

• система KV-кэша;
• полная инфраструктура разделения Vision Encoder, Prefill и Decode;
• балансировка нагрузки между data-parallel-репликами.

DeepSeek признаёт, что все три компонента нужны для полноценного inference-сервиса. Причину компания объясняет так:

«Компоненты управления KV-кэшем и балансировки нагрузки тесно связаны с нашей внутренней инфраструктурой, поэтому этот код пока открыт не полностью».

Из-за этого слова анонса о публикации производственного стека шире, чем фактический состав релиза. В документации компания также признаёт, что внутренние версии отдельных компонентов немного отличаются от опубликованных. Независимой проверки того, совпадает ли публичный код с реально развёрнутой системой, пока нет.

Отдельной версии с тегом, релиза на GitHub, пакета PyPI, SLA или коммерческого тарифа DeepInfer на момент проверки найти не удалось.

Насколько быстр DeepInfer и проверены ли бенчмарки?

Все показатели производительности опубликовала сама DeepSeek. По её данным:

• один кластер V4.1-Flash обрабатывает 155 трлн токенов в сутки;
• общая выручка при внепиковом тарифе составляет 38 долларов на GPU-час. Это производственный показатель компании, а не цена DeepInfer;
• динамическая проверка DSpark сокращает число проверяемых draft-токенов примерно на 30% и повышает пропускную способность на 4-7% при нагрузке около 60 одновременных последовательностей на rank. При 16 последовательностях результат оказался на 1,5% хуже, чем у фиксированной схемы fixed-5.

Бенчмарки снимались на 4 GPU NVIDIA SM100 для prefill и 64 GPU SM100 для decode, каждый тест - внутри одного scale-up domain. Независимых воспроизводимых сравнений DeepInfer с vLLM, SGLang или TensorRT-LLM на одинаковой модели, оборудовании и нагрузке пока нет.

В репозитории есть инструменты офлайн-оценки качества с метрикой Pass@1:

• AIME 2026: 30 задач, по 32 сэмпла;
• HLE: 2500 задач, по 1 сэмплу;
• GPQA Diamond: 198 задач, по 8 сэмплов.

Наборы данных автоматически не загружаются. Ответы по умолчанию оценивает LLM-судья. Для AIME и GPQA есть детерминированная проверка правилами, а HLE поддерживает только LLM-судью, поэтому часть результатов зависит от модели-судьи и хуже воспроизводится.

Как эксперты оценили релиз DeepInfer?

Автор The Next Web Ana Maria Constantin отметила, что показатели скорости принадлежат самой DeepSeek и на момент публикации не прошли независимую проверку. По её оценке, без KV-кэша, разнесения стадий и балансировки релиз нельзя считать готовым сервисом.

CEO MarkTechPost Asif Razzaq назвал публикацию редкой возможностью увидеть реальный serving stack ведущей ИИ-лаборатории. Главные недостатки, по его мнению, - офлайн-режим и отсутствие хранилища KV-кэша, P/D-разделения и балансировщика.

Авторы технического обзора AI/LLM on Kubernetes Infrastructure считают, что релиз ценен для изучения: по коду видно, как вместе работают планировщик, экспертный параллелизм, кэш и низкоуровневые операторы. При этом они предупреждают, что в репозитории опубликованы лишь офлайн-возможности общего production-движка, а не вся система обслуживания.

Почему DeepSeek раньше не открывала свой движок вывода?

Во время Open Source Week с 24 февраля по 1 марта 2025 года DeepSeek поочерёдно открыла отдельные компоненты своей инфраструктуры: FlashMLA, DeepEP, DeepGEMM, EPLB и файловую систему 3FS. Теперь эти библиотеки перечислены среди составляющих DeepInfer.

14 апреля 2025 года компания объяснила, почему не стала публиковать полный внутренний движок. Он был сильно изменённым ранним форком vLLM и зависел от внутренних средств управления кластерами. Кроме того, у небольшой команды не хватало ресурсов на поддержку крупного отдельного проекта. Тогда DeepSeek решила выделять самостоятельные компоненты поэтапно. DeepInfer - первый крупный массив кода самого движка, который компания выложила в открытый доступ.

Можно ли использовать DeepInfer в России и при чём здесь запрет в США?

Код лежит в публичном репозитории GitHub, а в лицензии нет региональных ограничений и платы за использование. Apache License 2.0 разрешает использовать, изменять и распространять исходный и объектный код при условии сохранения уведомлений и атрибуции. Специальной российской версии DeepSeek не объявляла, отдельных заявлений о российском рынке тоже не было.

Релиз совпал по времени с публикацией американского запрета. 24 июля 2026 года министр внутренней безопасности США на основании закона FASCSA 2018 года и по рекомендации Federal Acquisition Security Council издал приказ FASCSA Exclusion and Removal Order #2026-01. 20 октября его опубликовали в Federal Register. По приказу федеральные гражданские ведомства должны исключить продукты и услуги DeepSeek из закупок. Из их ИТ-систем нужно удалить продукты компании, её аффилированных лиц, а также сторонние решения, созданные с использованием реализаций DeepSeek. Приказ не запрещает DeepSeek для граждан и частных компаний США. Оценки рисков от DHS и возражения китайской стороны - это позиции сторон.