dsh-vision-edge-doubao

Readme

# dsh-vision-edge-doubao

**"带上她的眼睛"**

大肥鱼：终于找到眼睛捐赠者了，豆包，会是谁呢？

豆包：恭喜啊！

————手术很成功————

DSH（DeepSeek Harness）视觉插件：通过最最懒人的 **Edge + 豆包网页版** 给纯文本 DeepSeek 模型提供识图能力。

起因是我在做数学建模题目时，发现 Deepseek 模型的识图能力不太理想，于是在插件市场尝试了几个识图插件，发现现有的插件大多依赖于 Chrome + Gemini，对于我这种懒人加门外汉使用起来有些麻烦，所以用大 D 老师写了一个自己用着方便的插件。由于是第一次尝试，还有很多不足，但已勉强能用，也有一些亮点：

- 🧮 **数学建模图专项**（`mode=math`）：几何图形 / 流程图 / 数据图表 / 表格 / 公式 的深度结构化识别
- 💬 **澄清闭环**：识别有不确定项时，插件会列出问题问你，你回答后重新识别更精确
- 🖼 **通用识图**：照片、截图、OCR 文字识别、区域细查、多图对比
- 🔁 **免维护登录**：豆包登录态保存在独立浏览器配置里，一次登录长期使用
- 💰 **零成本**：复用浏览器登录态，无需 API Key

---

## 环境要求

- Windows（需要 Edge浏览器）
- 已安装 [DeepSeek Harness](https://github.com/deepseek-ai/deepseek-harness)（DSH）Web GUI
- Node.js ≥ 18（桥接组件需要）

---

## 安装

### 方式一：从 GitHub 安装（推荐）

```sh
dsh plugin --profile web add github:iceBear662/dsh-vision-edge-doubao
```

### 方式二：从 npm 安装

```sh
dsh plugin --profile web add dsh-vision-edge-doubao
```

### 方式三：tarball 安装

```sh
dsh plugin --profile web add ./dsh-vision-edge-doubao-0.1.0.tgz
```

> 安装后重启 `dsh web` 生效（插件在启动时加载）。

---

## 首次使用配置（只需一次）

### 1. 运行一键启动脚本

```powershell
powershell -ExecutionPolicy Bypass -File <插件目录>\start-vision-edge.ps1
```

脚本会自动完成：启动 Edge 调试实例（独立配置，不影响你日常浏览器）→ 启动豆包桥接 → 验证环境。

> GitHub/npm 安装后脚本在 `node_modules\dsh-vision-edge-doubao\start-vision-edge.ps1`。

### 2. 登录豆包（仅首次）

在弹出的 Edge 窗口里打开 [doubao.com](https://www.doubao.com)，扫码或手机号登录一次。
登录态保存在独立配置中，之后重启电脑也不用再登。

### 3. 开始使用

在 DSH 会话里直接发图片给模型，或说"看看这张图"即可——模型会自动调用 vision 工具。

---

## 使用说明

### 数学建模图专项（`mode=math`）

对数学建模竞赛常见的图做了专项优化，识别时会按图型输出结构化要点：

| 图型 | 识别内容 |
|---|---|
| 几何图形 | 形状、顶点字母及方位、实线/虚线分类、辅助线、角度标记、坐标系 |
| 流程图 | 节点类型与文字、分支条件、循环结构、层级关系 |
| 数据图表 | 图表类型、坐标轴/刻度、趋势与极值、关键数值、图例 |
| 表格 | 行列结构、表头、全部数值、异常值 |
| 公式 | LaTeX 转录（分数/根号/上下标/求和等） |

### 澄清闭环（不确定项提问）

识别遇到看不清或影响结论的点时，插件会在结果中返回 `clarify` 问题，模型会主动问你（如"点 D 是否为 BC 的中点？"），你回答后它会带着补充信息重新识别，得到更精确的结果。

### 参数速查

- `mode`：`glance`（通用）/ `ocr`（文字转录）/ `region`（区域细查）/ `compare`（多图对比）/ `math`（数学建模专项）
- `detail`：`auto`（自动）/ `fast` / `standard` / `deep`（auto 会自动升级复杂图）

### 豆包回答模式（专家模式）

插件会自动确保豆包使用**专家模式**识图（更精准），并输出"已完成思考"标志：

- 豆包模式是**持久设置**：切换一次后长期保持；插件每次识图前会自动检查并确保处于专家模式（幂等，无需手动干预）
- 想用快速模式：启动桥接前设置环境变量 `DOUBAO_MODE=quick`
- 自动切换遇到异常时会**静默降级**（继续用当前模式识图，不影响任务）

---

## 常见问题

| 问题 | 解决 |
|---|---|
| 识别超时 | 多半是 Edge 被关闭过：重新运行 `start-vision-edge.ps1` 即可恢复 |
| 偶发失败 | 豆包偶发人机验证，稍等重试即可 |
| 相同图片返回相同结果 | 插件有缓存（省流量），换一种问法即可重新识别 |
| 想重装/卸载 | `dsh plugin --profile web remove dsh-vision-edge-doubao` |

---

## 更新日志

### v0.1.0

- 🚀 **Edge 浏览器 + 豆包网页版**识图，零成本免 API Key
- 🧮 **数学建模图专项**（`mode=math`）：几何图形 / 流程图 / 数据图表 / 表格 / 公式
- 💬 **澄清闭环**：不确定项自动生成问题问你，回答后带补充信息重识别
- 🛠 桥接兼容修复：豆包 ProseMirror 输入框、长文本一次性插入（无漏字）、虚拟滚动回复提取、多段回复合并
- 📄 提示词回答优先 + 禁用表格（规避豆包表格渲染丢失）+ 防注入头

### v0.1.1

- 🧠 **豆包专家模式自动确保**：识图前自动检查并切换到专家模式（更精准），支持环境变量 `DOUBAO_MODE=quick` 切回快速模式
- 🔧 修复专家模式适配：
  - 模式切换按钮贴视口边缘导致自动化点击失效 → 滚动到视口中央 + 真实鼠标点击
  - 专家模式先输出思考块再输出回答 → 生成中检测跳过思考草稿，只取最终回答

---

## ⚠️ 风险提示

- 本插件通过自动化驱动浏览器，复用你已登录的豆包会话进行识图，本质上是对豆包网页端的人工自动化操作，**可能违反豆包/字节跳动的服务条款**，存在**账号被限制或封禁的风险**。
- **建议使用非主力账号**测试和使用，不要用于商业用途或批量抓取。
- 自动化行为与你手动在浏览器中操作等价（共享登录态与额度），但频率更高时风控风险随之上升；请合理使用，控制调用频率。
- 本项目与豆包、字节跳动无任何关联；豆包网页端随时可能改版导致插件失效，恕不保证长期可用。

---

## 致谢

本项目借鉴了 [dsh-vision](https://github.com/54xkeee/dsh-vision)（作者 54xkeee，MIT License）的架构与豆包桥接方案，在其基础上：

- 桥接改为 **Edge** 浏览器（原为 Chrome）
- 修复豆包网页改版后的输入框定位、回复提取、长文本发送等兼容问题
- 提示词重构为**回答优先 + 数学建模图专项**，新增不确定项澄清闭环

原项目 MIT License 版权声明：

> MIT License
>
> Copyright (c) 2026 54xkeee
>
> Permission is hereby granted, free of charge, to any person obtaining a copy
> of this software and associated documentation files (the "Software"), to deal
> in the Software without restriction, including without limitation the rights
> to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
> copies of the Software, and to permit persons to whom the Software is
> furnished to do so, subject to the following conditions:
>
> The above copyright notice and this permission notice shall be included in all
> copies or substantial portions of the Software.

---

## 许可证

[MIT](./LICENSE)