DeepSeek открыла код движка инференса DeepInfer с поддержкой Huawei Ascend 950
Фреймворк обслуживает продуктовые сервисы компании и выложен под лицензией Apache 2.0. Репозиторий уже собрал больше 17,5 тысячи звёзд.
DeepSeek выложила на GitHub DeepInfer, движок инференса, на котором работают её крупные продуктовые сервисы. Код распространяется под лицензией Apache 2.0. Репозиторий создан 16 октября, о публикации компания и профильные каналы написали 20 октября. На момент проверки у проекта было больше 17,5 тысячи звёзд.
Движок поддерживает модель DeepSeek-V4.1-Flash, по умолчанию загружается чекпойнт DeepSeek-V4.1-Flash-1017. Из железа заявлены ускорители NVIDIA на архитектуре SM100 и китайские Huawei Ascend 950. Поддержка Ascend позволяет запускать модель без американских чипов, экспорт которых в Китай ограничен.
Среди возможностей DeepInfer: параллелизм Attention DP и MoE EP с балансировкой EPLB, асинхронное планирование, инференс, не зависящий от размера батча, детерминированная выборка и структурированный вывод.
Часть компонентов в открытый релиз не вошла. Для полноценного сервиса не хватает системы KV-кеша, разделения стадий Prefill и Decode и балансировки нагрузки, предупреждают авторы в README. То есть компании, которые захотят развернуть V4.1-Flash у себя в таком же масштабе, как DeepSeek, должны будут дописать эти части сами или взять готовые решения из других проектов.
Сама V4.1-Flash-1017 вышла 17 октября вместе с открытым поисковым API. До этого DeepSeek уже открывала отдельные инструменты своей инфраструктуры, но целиком продовый движок инференса компания публикует впервые за время работы над линейкой V4. Через три дня, 20 октября, американские власти приказали федеральным ведомствам удалить сервисы DeepSeek из государственных систем.