Bundle
dsh-llm-eval
LLM 评估:输出质量评估、幻觉检测、基准测试、回归守护。受 wshobson/agents(38k★ MIT)启发。
- Source
- satan9394
- License
- MIT
- Updated
- Updated 14 hours ago
Readme
# dsh-llm-eval LLM 评估:忠实度/相关性/正确性/完整性维度、测试集构建、幻觉专项检测、 回归守护。 受 [wshobson/agents](https://github.com/wshobson/agents)(38k★ MIT) 的 llm-application-dev/llm-evaluation 技能启发,改编为 DSH 中文原创精简版。 ## 安装 ```sh dsh plugin --profile web add dsh-llm-eval # 或本地开发:dsh plugin --profile web add link:E:\DeepSeek_Harness\workspace\2026_08_15\plugins\dsh-llm-eval # 重启 dsh web 生效 ``` ## 使用 对 agent 说"评估这个 LLM 应用 / 检测幻觉",`llm-eval` 技能输出 评估报告(维度/测试集/通过率/失败模式)。 ## 结构 ``` dsh-llm-eval/ ├── index.js # 注册 skills/ 到 ctx.skills ├── cordis.patch.yml # bundle patch 层 ├── package.json # dsh.bundle manifest └── skills/llm-eval/SKILL.md ``` ## License MIT。原创精简改编,灵感来自 wshobson/agents(MIT)。
Install
dsh plugin --profile web add github:satan9394/dsh-llm-eval
Profile: web
With the hub plugin installed, ask your agent to install it by name — it resolves the same plan shown here.
dsh plugin --profile web add github:stvlynn/dsh.fish#path:packages/dsh-plugin-hub
install dsh-llm-eval from the hub
- This source has no pinned commit, so a later push upstream changes what installs. Prefer pinning a commit.