DeepSeek 已在 GitHub 上线开源仓库 DeepInfer,把其推理引擎对外开放。仓库地址为 github.com/deepseek-ai/DeepInfer,属于开源项目。
推理引擎是模型与硬件之间的中间层,负责算子调度、显存管理、批处理与并行策略等,直接影响服务端的吞吐、延迟和单位请求成本。对多数团队来说,模型权重通常可以下载,但要让权重跑出接近官方服务的性价比,往往取决于这一层工程实现。因此,DeepSeek 开放自用推理引擎的意义不只在于「多一个开源项目」:一方面,开发者可以据此了解其线上服务的推理路径,减少自行摸索的工程成本;另一方面,推理层开放后,社区可以针对自身硬件与业务负载做二次优化,并把经验回流到上游。
需要说明的是,目前公开信息仅有仓库本身,暂无配套说明摘要。DeepInfer 支持哪些模型与硬件后端、采用何种开源许可证、是否包含量化与分布式部署能力、性能表现如何,均需以仓库文档与代码为准。对关注推理成本与部署效率的团队,建议直接查阅仓库的 README 与发布记录,并结合自身场景评估可用性。
链接:https://github.com/deepseek-ai/DeepInfer
