dsh-model-deploy

v1.0.1 · 0 天前发布

DeepSeek Harness plugin: LLM model selection & deployment analysis (deployability, VRAM, TTFT, latency, throughput, power for 38 models × 20 GPUs/NPUs)

deepseek-harnessdshdsh-pluginllmmodel-selectiondeploymentcapacity-planninggpunpuascend

README

dsh-model-deploy

🌐 语言切换 / Language: 简体中文 · English

DeepSeek Harness（DSH）插件：LLM 模型选型部署分析。

给它模型、GPU/NPU 型号、节点数、精度、上下文长度、并发数与互联带宽，它用一阶解析模型给出可审计的估算：

✅/⚠️/❌ 能否部署（显存/精度/互联检查）+ 修复建议

显存：单卡与集群拆解（权重 / KV 缓存 / 激活 / 运行时）

时延：首 token（TTFT）与整体时延（空闲 / 满载两种口径）

吞吐：单请求与系统 tok/s、req/s、预填充 tok/s

功耗：空闲 / 典型 / 峰值（含 PUE）、每 token 能耗

自动 TP × PP × DP 并行策略与选择理由

按 DeepSeek Harness 架构文档（docs/architecture.md）实现：模型可见能力注册在
ctx.tools，以 bundle 行的形式挂载（cordis.patch.yml）。

安装

sh
dsh plugin --profile web add dsh-model-deploy

或从 GitHub 检出安装：

sh
dsh plugin --profile web add github:YOUR_ACCOUNT/dsh-model-deploy

--profile 必填。安装后重启会话（或 profile），工具 schema 才会进入 prompt 组装。

工具

`model_deploy_analyze`

主分析工具。示

版本兼容矩阵

DSH 版本	状态	说明
`dsh@0.1.0-rc.6`	✅ 兼容	cordis patch ✅
`dsh@0.1.0`	✅ 兼容	标准 patch ✅
`dsh@0.2.0`	⚠️ 待验证	待实测（API 可能在变）
`dsh@0.3.0+`	❓ 未知	尚未发布

💡 兼容矩阵每周末自动跑实测，欢迎 PR 修正

元数据

License: MIT
npm: dsh-model-deploy
Repo: —
Engines: {"node":">=22.19"}
Weekly DL: 0
Monthly DL: 0
dsh.bundle: {"bundle":{"patch":"./cordis.patch.yml"}}