dsh-plugin-mm-vision

v0.1.1 · 4 天前发布

mm-vision (通感编码器) for DeepSeek Harness — give any text-only LLM the ability to see images via structured spatial text encoding. Registers the mm_vision tool.

dshdsh-plugindeepseek-harnesscordisvisionmultimodalsynesthesiaklinechartdeepseek

README

dsh-plugin-mm-vision

通感编码器 (Synesthesia Encoder) · DeepSeek Harness 插件

给任何纯文本 LLM(DeepSeek、GPT-4 base、Claude…)获得看图能力:调用视觉模型把图片翻译成紧凑的结构化空间文字(画布/元素/百分比坐标/形状/数值/关系),文本模型据此重建空间认知、推理位置关系。

移植自 Elohia/pi-mm-vision(MCP / Pi / Codex / Claude Code 多宿主通感编码器)。核心零依赖,支持任意 OpenAI 兼容视觉模型(qwen-vl / gpt-4o / glm-4v / kimi-vl / MiniMax-VL…)。

✨ 功能

🖼️ 通感编码:把图片变成坐标化文字描述——K线图/盘面截图/报告图表/UI 截图/自然照片都适用

📍 像素级坐标:所有关键元素带精确 (x%,y%) 百分比坐标(图表转折点/标注/按钮/文字块)

🔢 可选像素网格:prompt 含"像素/重建/还原"关键词时,输出 40×30 色块网格(RGB),供原图重建

🔄 模式自适应:auto 自动识别图表(坐标优先)vs 自然图(构图主体);也可手动指定 brief/full/coords/pixel

🧠 缓存:TTL 内重复分析秒回(默认 600s / 100 条)

🔌 零硬编码:模型 / baseUrl / API key 全可配置

📦 安装

要求:已安装 [DSH CLI](https://github.com/deepseek-ai/deepsee

版本兼容矩阵

DSH 版本	状态	说明
`dsh@0.1.0-rc.6`	✅ 兼容	cordis patch ✅
`dsh@0.1.0`	✅ 兼容	标准 patch ✅
`dsh@0.2.0`	⚠️ 待验证	待实测（API 可能在变）
`dsh@0.3.0+`	❓ 未知	尚未发布

💡 兼容矩阵每周末自动跑实测，欢迎 PR 修正

元数据

License: MIT
npm: dsh-plugin-mm-vision
Repo: —
Engines: {"node":">=18"}
Weekly DL: 0
Monthly DL: 0
dsh.bundle: {"bundle":{"patch":"./cordis.patch.yml"}}