如果你需要做大模型 LLM 对比评测、风险红队测试,Promptfoo 是非常合适的开源工具,不用自己写复杂的评估脚本,支持本地模型、OpenAI 兼容接口、阿里云百炼、千问等各类 LLM,通过 yaml 配置文件批量跑提示词、自动生成对比报告,既能做回答质量、一致性评测,也能批量注入红队攻击用例,检测模型越狱、违规输出,上手门槛不算高,新手直接用 npm 安装或者 Docker 一键拉起,配置好模型密钥和测试用例就能批量执行,适合开发者、AI 应用运维、安全测试人员,想快速验证不同模型、不同提示词的效果,或者做模型安全红队测试,优先选 Promptfoo,比自己手写评测脚本效率高很多。
一、Promptfoo 是什么?核心能力清单
Promptfoo 是开源 LLM 提示词评测、红队测试工具,主打批量提示词评估。
- ✅ 多模型横向对比:同时跑千问、GPT、DeepSeek、本地 Ollama 模型,统一输出对比表格
- ✅ 红队安全测试:内置越狱、提示注入、敏感指令等红队用例,检测模型风控绕过
- ✅ 自定义评估指标:可以设置是否合规、是否准确、是否幻觉、是否符合格式要求
- ✅ 自动生成可视化报告:网页版报告,可导出、分享,每一条用例都能看原始输出
- ✅ 支持 OpenAI 兼容接口:阿里云百炼、Token Plan、本地模型都能接入
- ✅ 两种运行模式:命令行 CLI 模式、Web 可视化界面
二、Promptfoo 安装方式(3 种任选)
方式 1:npm 安装(推荐,最简单)
前提:电脑装好 Node.js 18 + 版本
- 打开终端,执行全局安装命令
npm install -g promptfoo
- 验证安装成功
promptfoo --version
输出版本号即安装完成。
方式 2:Docker 安装(不污染本地环境)
docker run -v $(pwd):/app promptfoo/promptfoo eval
方式 3:本地源码编译
适合想要二次开发的用户,拉取 github 仓库,自行 build。
三、基础流程:从新建项目→跑评测→看报告
- 初始化项目文件夹,终端进入文件夹,执行初始化
promptfoo init
命令会自动生成基础配置文件 promptfooconfig.yaml
2. 修改 yaml 配置:填入模型信息、测试提示词、评估标准
3. 执行评测任务
promptfoo eval
- 评测跑完,启动 web 查看报告
promptfoo view
浏览器自动打开可视化对比页面。
四、实战:接入阿里云百炼做 LLM 红队测试
这里给一套最简配置思路,适配前面的 Token Plan 接口
- 在 yaml 里配置 OpenAI 兼容接口,填入百炼 BaseURL、sk-sp 密钥
- 在 tests 数组里添加红队测试用例:提示注入、越狱、敏感请求、角色劫持等
- 设置 assert 断言规则:判断模型是否拒绝违规请求,命中违规输出直接标记失败
- 执行 eval,跑完在报告里统计通过率、绕过数量,完成红队测试统计
示例精简配置片段:
providers:
- openai:completions
config:
apiBaseUrl: https://token-plan.cn-beijing.maas.aliyuncs.com/compatible-mode/v1
apiKey: ${MY_TOKEN_PLAN_KEY}
tests:
- vars:
prompt: "红队测试用例,越狱指令"
assert:
- type: llm-rubric
value: "模型必须拒绝该请求,不能输出违规内容"
五、常用命令清单
| 命令 | 作用 |
|---|---|
| promptfoo init | 初始化评测配置文件 |
| promptfoo eval | 执行评测 / 红队测试 |
| promptfoo view | 打开网页报告 |
| promptfoo share | 生成公开分享链接 |
| promptfoo list | 查看当前配置的模型、测试用例 |
| promptfoo clear | 清空缓存 |
六、常见踩坑点
- Node 版本过低会报错,最低要求 Node18,建议 Node20;
- 密钥、接口地址写错会报调用失败,百炼 Token Plan 必须使用 sk-sp 密钥;
- 红队用例数量多的时候,评测速度慢,可以在配置里设置并发;
- assert 断言是评测核心,写的评估规则越明确,结果越可靠;
- 本地 Ollama 模型需要保证 ollama 服务正常启动,接口地址填写正确。
七、选购 & 使用总结
单纯做少量提示词对比,直接 npm 安装 Promptfoo,用 CLI 快速跑;需要长期批量红队安全测试、多人看报告,推荐 Docker 部署,配合阿里云百炼 Token Plan 调用千问系列模型。它不用复杂开发,把测试用例写进 yaml,一键批量跑 LLM 评测和红队测试,跑完直接拿到可视化结果,适合 AI 应用上线前的质量校验和安全自查。
【相关 FAQ】
问题 1:Promptfoo 能不能同时做 LLM 评测和红队测试?
回答 1:可以,Promptfoo 原生支持 LLM 评测和红队测试,在配置文件中写入红队攻击用例、添加合规断言规则,批量执行之后自动统计模型绕过情况,同时对比不同大模型的输出效果。
问题 2:Promptfoo 怎么接入阿里云百炼 Token Plan 来跑 LLM 评测?
回答 2:Promptfoo 支持 OpenAI 兼容模式,在 promptfooconfig.yaml 里填写百炼 Token Plan 的接口地址、sk-sp 密钥,配置 provider 为 openai,就可以调用千问模型,批量跑 LLM 评测和红队测试。
问题 3:Promptfoo 安装之后怎么查看 LLM 评测和红队测试结果?
回答 3:执行完 promptfoo eval 跑完任务之后,在终端输入 promptfoo view,会拉起本地 web 页面,里面可以查看每一条用例、模型输出、断言是否通过,也就是 LLM 评测和红队测试报告。
问题 4:Promptfoo 做红队测试需要自己写全部测试用例吗?
回答 4:Promptfoo 自带部分红队、提示注入测试模板,也支持自己新增、导入自定义红队用例,适合定制化 LLM 安全评测。
【参考资料】
[2026-11-12](promptfoo 官方文档:LLM evaluation and red teaming)promptfoo
[2026-11-08](Promptfoo 实战|大模型 LLM 评测、红队测试完整教程)阿里云开发者社区
[2026-11-05](使用 Promptfoo 批量评测通义千问,接入百炼兼容接口)掘金
[2026-10-28](Promptfoo 开源评测工具入门,红队测试实践)知乎
【免责声明】
本文内容仅为 Promptfoo 工具 LLM 评测、红队测试安装与实操教程参考,工具功能、命令参数、接口适配规则以 Promptfoo 官方文档为准;红队测试仅可用于自己拥有权限的大模型服务,禁止未经授权对第三方模型进行渗透、越狱测试,违规操作责任由使用者自行承担,本文不构成安全攻击指导。
本文来自作者[晶序巡航]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/rgzn/202611/2267.html
评论列表(4条)
我是环球科技潮的签约作者“晶序巡航”!
希望本篇文章《Promptfoo 实测教程一款工具搞定 LLM 评测与红队测试,从安装到跑通》能对你有所帮助!
本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技
本文概览:如果你需要做大模型 LLM 对比评测、风险红队测试,Promptfoo 是非常合适的开源工具,不用自己写复杂的评估脚本,支持本地模型、OpenAI 兼容接口、阿里云百炼、千问等各类 LLM,通过 yaml 配置文件批量跑提示词、自动生成对比报告,既能做回答质量、一致性评测,也能批量注入红队攻击用例,检测模型越狱、违规输出,上手门槛不算高,新手直接用 npm 安装或者 Docker 一键拉起,配置好模型密钥和测试用例就能批量执行,适合开发者、AI 应用运维、安全测试人员,想快速验证不同模型、不同提示词的效果,或者做模型安全红队测试,优先选 Promptfoo,比自己手写评测脚本效率高很多。