@omdp/dsh-vision-bridge

dsh-vision-bridge

DSH 视觉桥插件：自动区分多模态 / 文本模型。

多模态模型（inputModalities 含 image）→ 不拦截，原图直接进上下文，模型自己看图。

文本模型（如 deepseek-v4-flash）→ 插件调用可配置的多模态端点（baseUrl + apiKey + model）代看，

把文字证据返回给文本模型。

已实测验证（Windows + DSH rc.6 + Agnes agnes-2.5-flash）：

粘贴图片 → 自动截获为临时路径文本 → 模型调 vision_bridge_read_image → Agnes 返回文字描述 OK

本地图片 → 转 data URL → 识别成功 OK

公网 URL → 取决于 Agnes 能否抓取（raw.githubusercontent 常不可达，建议用 data URL 或可达图床）

功能列表

1. 自动分流（多模态 / 文本模型）

工具执行时调用 llm.resolveModelInfo().inputModalities 判断当前路由模型能力。

2. read_image 工具（vision_bridge_read_image）

参数：path（单图）/ paths（多图）/ prompt（文本模型的意图）/ json（结构化输出）

支持本地路径、http(s) URL、粘贴生成的临时路径

多模态模型调用 → 直接阅读；文本模型 → 调多模态端点代看

3. 粘贴 / 拖拽图片（client.js）

纯文本模型下：捕获 paste/drop → POST /vision-bridge/paste → 临时文件