← 返回列表
D

dsh-bench

v0.1.0 · 0 天前发布

虚拟 DSH 环境跑分机 — 插件/Skill 加载与工具调用基准(L1 零 token)。dsh-plugin-hub 生态的可扩展类插件:为 hub 提供独立性能评分(加载/工具调用各环节耗时)。

dsh-plugindsh-benchhub-extbenchmarkdeepseek-harness

README

dsh-bench — 虚拟 DSH 环境跑分机

在隔离的虚拟 DSH 环境中为插件 / Skill 测量加载与工具调用耗时,建立独立的性能评分体系。

归属:本包是 dsh-plugin-hub 生态的可扩展类插件(官方自研,hub 内标记为「可扩展类 / Hub Extensions」)。

跑分报告由 hub 商店消费(插件详情页「跑分」tab);脱离 hub 单独运行无法发挥完整价值,请配合 hub 使用。

状态

  • M1 完成:虚拟环境工厂 + L1 加载基准 + benchmark.json(已验证零 token)

  • M2 规划:L2 Mock 工具基准 + 综合性能分 + 对比视图

  • M3 规划:端到端模式(token 预算保护,用户授权制)

  • M4 规划:hub 消费(详情「跑分」tab)
  • 用法

    bash

    跑本机已装插件(自动枚举)


    node src/index.js

    跑指定插件(包名或目录路径)


    node src/index.js gal-view
    node src/index.js "E:/path/to/plugin-dir"

    指定输出


    node src/index.js --out benchmark.json

    原理

    1. 虚拟环境:每个被测对象一个临时 DSH_HOME$TMP/dsh-bench-*),
    用 junction 链接被测插件 + 探针插件,注入 profile patch —— 跑完即焚;
    2. 零 token:沙箱是全新 DSH_HOME(无 API key),headless 启动时

    查看完整 README →

    版本兼容矩阵

    DSH 版本状态说明
    dsh@0.1.0-rc.6 ✅ 兼容 cordis patch ✅
    dsh@0.1.0 ✅ 兼容 标准 patch ✅
    dsh@0.2.0 ⚠️ 待验证 待实测(API 可能在变)
    dsh@0.3.0+ ❓ 未知 尚未发布

    💡 兼容矩阵每周末自动跑实测,欢迎 PR 修正

    元数据

    License
    npm
    dsh-bench
    Repo
    git+https://github.com/yunhuantian/dsh-plugin-hub.git
    Engines
    {"node":">=22.19"}
    Weekly DL
    0
    Monthly DL
    0
    dsh.bundle
    {"bundle":{"patch":"./cordis.patch.yml"}}