dsh-listener

Readme

# dsh-listener — 本地安全语音输入插件

在 DSH 对话输入框右侧添加麦克风按钮:录音 → 本地 SenseVoice-Small INT8 ONNX 转写 → 文本填入输入框。**音频全程本地处理,不出网。**

fork/参考:@opensquad/dsh-voice-input(MIT,已克隆 `~/file/dsh/plugin/dsh-voice-input`),重写为安全架构,详见下方「与原版的差异」。

## 架构

```
浏览器(输入框 conversation.input.right)
  └─ 同源 POST /plugins/dsh-listener/*(宿主代理,无 CORS)
       └─ 宿主:生命周期管理 + 20MB 上限 + 语言头透传
            └─ Python 后端(单进程,仅 127.0.0.1:7103 + 随机 token)
                 ├─ /health /download /download/status /start
                 └─ /v1/audio/transcriptions(SenseVoice-Small INT8 ONNX)
```

## 目录

- `lib/index.js` — 宿主:路由代理、后端生命周期(懒启动/崩溃重启/dispose 清理)、依赖检查与安装(钉版本)
- `lib/client.js` — 浏览器:麦克风按钮、录音(120s 上限)、进度/错误弹窗、`inputActions.setDraft` 追加填入
- `backend/server.py` — 合并后端(下载网关 + 推理服务单进程)
- `backend/lib/inference.py` — SenseVoice ONNX 推理(MIT 复用,未改动)
- `backend/lib/model_store.py` — 模型下载 + sha256 落盘校验
- `backend/requirements.txt` — 钉版本依赖(onnxruntime==1.29.0 等)

## 存储

| 数据 | 位置 |
|---|---|
| 模型(4 文件,~240MB) | `~/.local/share/dsh-listener/model/`(环境变量 `DSH_LISTENER_MODEL_DIR` 可改) |
| sha256 清单 | 同目录 `.sha256.json`(首次下载建立信任锚点,启动时校验,损坏自动重下) |
| Python 依赖 | `~/.local/lib/python3.14/site-packages/`(`--user --break-system-packages`,PEP 668) |
| token | 每进程随机,命令行注入,不落盘 |
| 后端日志 | `backend/server.log` |

## 与原版的差异(安全修复清单)

| 原版 | dsh-listener |
|---|---|
| 浏览器直连 127.0.0.1:7101/7102 + CORS 全开 | 浏览器只访问同源宿主路由;后端无 CORS |
| 后端绑 0.0.0.0、零鉴权 | 只绑 127.0.0.1 + 回环来源校验 + 随机 token |
| 网关 + 推理两进程 | 合并单进程,生命周期一条清理链 |
| `/uninstall` 可远程删模型 | 删除该端点 |
| 无大小/时长限制 | 20MB / 120s 上限(宿主+后端双重) |
| 自动 pip 装未钉版本 | 钉版本 + 首次安装前 UI 确认 |
| 模型无校验 | sha256 落盘 + 启动校验 + 损坏自动重下 |
| 无 dispose 清理 | 宿主 dispose / 进程退出统一 kill |

## 使用

1. 首次点击麦克风:确认后自动安装依赖(约 250MB)+ 下载模型(约 230MB),进度条显示
2. 就绪后:点击开始录音,再点停止 → 转写 → 填入输入框(已有内容则追加)
3. 输入框已有草稿时追加在末尾;识别失败显示角标 `!`

## 开发

- client 改动:Ctrl+Shift+R 刷新即可(`curl http://127.0.0.1:3080/plugins/dsh-listener/client.js` 验证服务端已更新)
- host / 后端改动:重启 DSH
- 模型重下:`rm -rf ~/.local/share/dsh-listener/model` 后重新走下载流程