@aprilwizard/dsh-multi-cot
v0.1.0 · 4 天前发布
Multi-sampled test-time compute plugin for DeepSeek Harness: parallel planning, internal voting, and a plan/execute/review workflow
README
@aprilwizard/dsh-multi-cot
English | 中文
Multi-CoT 通过重复生成并采样思维链,为 dsh 提供近似“并行测试时计算”的能力:同一输入
并行跑 samples 条推理链,由内部投票选出最佳结果,再用它驱动“先计划后执行”或完整的
“计划 → 执行 → 复检”三阶段工作流。插件只包含纯函数选择核心和稳定的协议提示词,接在agent/pre-step、llm/stream、agent/turn-stopping 三个扩展点上,不需要修改 dsh
源码。
近期通过修改 codex 源码,用 deepseek-v4-flash 在隔离环境下用 Terminal-Bench 2.1
做了开/关对比(baseline = 普通模式,workflow = 多采样三阶段):
| 题目 | baseline | workflow |
|---|---|---|
| write-compressor (hard) | ✅ 685.6s / 2475B / 1.83M in | ✅ 643.5s / 2231B / 1.17M in |
| cancel-async-tasks (hard) | ❌ 219.8s(5/6 测试过) | ✅ 647.3s |
| polyglot-rust-c (hard) | ✅ 522.0s | ✅ 1,097.9s |
| regex-chess (hard) | ✅ 1,075.0s / 6.93M in | ✅ 产物合格,进程 1800s 超时被杀 |
| sqlite-db-truncate (medium) | ✅ 129.2s | ✅ 598.5s |
单题 GSM8K 对比:正确率不变(26/26),耗时约 29×(4.4s → 126.8
版本兼容矩阵
| DSH 版本 | 状态 | 说明 |
|---|---|---|
dsh@0.1.0-rc.6 | ❓ 未知 | metadata 缺失 |
dsh@0.1.0 | ❓ 未知 | — |
dsh@0.2.0 | ⚠️ 待验证 | 待实测(API 可能在变) |
dsh@0.3.0+ | ❓ 未知 | 尚未发布 |
💡 兼容矩阵每周末自动跑实测,欢迎 PR 修正
元数据
- License
- MIT
- npm
- @aprilwizard/dsh-multi-cot
- Repo
- git+https://github.com/aprilwizard/dsh-multi-cot.git
- Engines
{"node":">=22"}- Weekly DL
- 0
- Monthly DL
- 0
- dsh.bundle
{}