对应视频:老板怎么验收AI项目,别被效果很好糊弄

AI项目验收指标模板

查看全部资料目录 →

怎么用:签合同前,和服务商一起把下面四张表填好,作为合同附件;验收时照着表逐项测试、打勾。表里的数字都是示例,换成你们双方商量好的标准,填表大约 1 小时。

为什么「效果很好」不能算验收

「效果很好」「客户反馈不错」「智能化程度高」,这些话没法核对。验收必须做到三点:

要求 意思
能测 每一项都有具体的测试方法
有数 通过标准是一个数字或者明确的是/否
用真数据 用你公司真实的问题、真实的单据来测,不用服务商准备的演示题

验收分四类:功能(该有的都有)、性能(够快够稳)、效果(真的有用)、体验(员工愿意用)。

第一类:功能验收

检查合同里承诺的功能是不是都能用。

# 验收项 测试方法 通过标准 结果
1 【例:能回答客户常见问题】 用 50 个真实问题提问 每个都能给出回答 □通过 □不通过
2 【例:答不上来时转人工】 问 10 个资料里没有的问题 10 个都正确转人工,不乱编 □通过 □不通过
3 【例:能导出每日数据】 导出一天的记录 导出成功、字段齐全 □通过 □不通过
4 【例:管理员能自己更新资料】 我方人员新增一条问答 不找服务商,30 分钟内能完成并生效 □通过 □不通过
5 【例:权限管理】 用普通员工账号登录 看不到管理员才能看的内容 □通过 □不通过
6 【 】 【 】 【 】 □通过 □不通过

第二类:性能验收

检查够不够快、稳不稳。

# 验收项 测试方法 通过标准(示例,按你的需要改) 结果
1 响应速度 在正常网络下提问 20 次,记录等待时间 大部分在【5】秒内出结果 □通过 □不通过
2 同时使用 【10】个人同时使用 不卡死、不报错 □通过 □不通过
3 稳定性 试运行【2】周,记录宕机次数 宕机不超过【1】次,每次【1】小时内恢复 □通过 □不通过
4 处理量 一次处理【100】份文件/单据 全部处理完,无遗漏 □通过 □不通过

第三类:效果验收(最重要)

检查 AI 是不是真的帮上了忙。这一类必须用真实业务数据测,并和上线前对比。

# 验收项 测试方法 上线前 通过标准(示例) 实际 结果
1 回答准确率 随机抽 100 条 AI 回答,由业务人员逐条判断对错 — 正确的不少于【90】条 【 】 □通过 □不通过
2 编造率 同上,检查有没有资料里没有的内容 — 编造的不超过【2】条 【 】 □通过 □不通过
3 处理时间 记录某环节每单平均处理时间 【30】分钟 降到【10】分钟以内 【 】 □通过 □不通过
4 人工介入比例 统计需要人修改或接手的比例 — 不超过【30%】 【 】 □通过 □不通过
5 业务结果 【例:客户等待回复的时间 / 报价出单数】 【 】 【 】 【 】 □通过 □不通过

怎么抽样才不被糊弄:

第四类:体验验收

检查员工愿不愿意用。员工不用,前面三类全白搭。

# 验收项 测试方法 通过标准(示例) 结果
1 上手难度 找一个没参加过培训的员工,给他操作说明 【30】分钟内能独立完成主要操作 □通过 □不通过
2 实际使用率 试运行期间统计使用人数 应该用的人里,【80%】以上每周都在用 □通过 □不通过
3 员工评价 让一线使用人员打分(1-5 分) 平均不低于【3.5】分 □通过 □不通过
4 问题反馈渠道 员工提一个问题 【1】个工作日内有回应 □通过 □不通过

员工评价问卷(直接用):

问题 1 分(很差)—5 分(很好)
这个工具好不好上手 【 】
它给的结果我需要改多少(改得越少分越高) 【 】
用了以后我的工作有没有变轻松 【 】
我愿不愿意继续用 【 】
最想让它改进的一点 【写下来】

验收结论表

类别 验收项总数 通过数 是否全部通过
功能 【 】 【 】 □是 □否
性能 【 】 【 】 □是 □否
效果 【 】 【 】 □是 □否
体验 【 】 【 】 □是 □否

结论:□ 验收通过 □ 限期整改后复验(整改期限:【 】) □ 不通过

我方签字:【 】 服务商签字:【 】 日期:【 】

写进合同的几句话(参考,请找法务把关)


用完之后:照着做完还卡在哪一步,评论区或私信告诉我,我帮你看。

出品:帅厂长|增长飞轮AI · 帮企业用 AI 搭一套自己会转的增长系统