01 / CASE STUDYCOMPANY PROJECT · INTERNAL TESTING

AI 法务咨询助手

AI Legal Consultation Assistant

让 AI 处理重复咨询, 专业判断留给法务。

AI AgentKnowledge BaseHuman-in-the-loopAI Evaluation
RoleAI Application Design
StatusInternal Testing
ScopeKnowledge · Prompt · Workflow · Evaluation
01

THE PROBLEM

如何提高法务咨询效率,
同时保留专业人员的最终判断?

销售在日常工作中会反复咨询合同条款、客户特殊要求和业务风险等问题。

过去,这些问题主要依赖法务人工回答,不仅存在大量重复沟通,也难以将历史经验持续沉淀为标准答案。

法务希望搭建一个 AI 法务咨询入口,由 AI 根据企业知识库生成回答,再通过合理的人工审核机制控制风险。

项目第一阶段的重点不是让 AI 取代法务,而是探索 AI 如何进入专业、高风险的业务流程,并真正成为人的辅助工具。

BEFORE
  1. 01销售
  2. 02咨询法务
  3. 03法务重复查找与回答
AFTER
  1. 01用户提问
  2. 02AI 检索知识
  3. 03生成回答草稿
  4. 04人工审核 / 反馈
02

MY ROLE

我的角色:AI 应用方案设计
与智能体搭建

业务需求及原始知识材料由法务提供,公司自研 AI 产品提供智能体与知识库等底层技术能力。

我负责将业务需求转化为一个可运行、可测试、可持续迭代的 AI 应用。

01

业务需求理解与 AI 应用方案拆解

02

根据智能体检索逻辑整理、分段与加工知识材料

03

设计 AI 助手 Prompt 与回答结构

04

配置并测试智能体

05

设计人工审核与风险控制原则

06

设计反馈与持续迭代闭环

07

建立 Bad Case 错误分类体系

08

设计模型评测框架

09

设计后续产品效果与运营指标

MY FOCUS

不是开发底层大模型,
而是思考如何将已有 AI 能力转化为解决真实业务问题的产品。

03

V1 · BUILD THE FIRST AGENT

第一步:
让 AI 能够基于企业知识回答问题

V1 的核心任务,是建立一套基础回答逻辑。

原始知识材料不能直接等于 AI 可用的知识库。我根据智能体的知识检索逻辑,对原始材料进行整理、分段和结构化处理,让知识能够更好地被检索和引用。

用户提出问题
AI 理解问题
检索企业知识库
基于检索生成回答
输出可执行建议
SANITIZED KNOWLEDGE STRUCTURE
企业规则
合同规范 分段 · 标签
服务范围 分段 · 标签
风险案例 分段 · 标签
PROMPT DESIGN PRINCIPLES
01优先依据企业规则
02不确定时不编造
03识别潜在风险
04给出可执行答案

OUTPUT / 结论 · 原因 · 建议 · 风险等级

04

HOW IT WORKS

一个真实问题,
是如何被 AI 回答的?

以下 Demo 已脱敏,不包含真实公司、客户、价格或套餐信息。

USER QUESTION

客户同意在合同上确认我司提供客户公司员工的培训服务,这个可以写吗?

KNOWLEDGE RETRIEVAL
服务范围合同规范
AI ANSWER
结论
可以。该服务属于标准服务范围,但需要根据客户购买的方案确认具体交付内容。
原因
根据内部服务规范,不同方案对应不同的服务范围。
建议
签署前确认具体方案,并按照对应服务范围填写合同。
05

V2 · DESIGN A LEARNING LOOP

一个 AI 产品上线之后,
怎样持续变好?

完成 V1 后,我开始思考:如果 AI 答错了,我们只是修改这一次回答,还是能让这次错误成为下一次优化的依据?

因此,我设计了一套 AI 学习闭环。项目仍处于法务内部测试阶段,现阶段目标是收集真实反馈、发现 Bad Case,并判断问题来源与对应优化方式。

01AI 回答
02人工审核
A / 无需修改记录成功
B / 修改较大记录修改原因
03形成案例库
知识库更新Prompt 更新规则更新模型评测
06

BAD CASE ANALYSIS

AI 答错了,
不一定都是模型的问题。

为了让反馈真正能够指导优化,我设计了错误分类体系。

01

KNOWLEDGE ERROR

信息过期 / 企业规则遗漏

优化方向更新知识库

02

REASONING ERROR

理解问题错误 / 遗漏条件

优化方向优化 Prompt、规则或模型

03

RESPONSE ISSUE

太啰嗦 / 表达过于绝对

优化方向优化输出要求

04

HALLUCINATION

编造企业制度或不存在的依据

优化方向加强约束、检索与模型评测

不是简单地把所有问题归结为“AI 不够聪明”,
而是先判断:是知识、检索、Prompt,还是模型本身的问题?

07

AI EVALUATION

怎样判断一个模型
是否真的适合业务?

模型选择不能只比较“谁回答得最好”。因此,我设计了一个初步的模型评测框架,从效果、体验和成本三个层面进行综合评估。

后续将使用固定测试题集,对不同模型进行横向测试,而不是仅凭少量主观体验选择模型。当前没有真实测试结果,因此仅展示评测框架。

01

ANSWER QUALITY

  • 正确性
  • 专业性
  • 可读性
  • 稳定性
02

USER EXPERIENCE

  • 回答速度
03

BUSINESS COST

  • Token 成本
08

SUCCESS METRICS

AI 回答得不错,
不等于产品真的有价值

01

AI 首次回答采纳率

AI 草稿是否具有实际可用性

02

平均修改程度

人工需要对 AI 回答进行多少修改

03

平均审核耗时

AI 是否真正帮助法务节省时间

04

重复问题覆盖率

高频问题是否逐渐沉淀为可复用知识

05

用户满意度

最终使用者是否认为问题得到解决

NEXT STEPValidate with Real Usage Data

项目仍处于法务测试阶段,尚未积累足够数据,因此不展示未经验证的效果数字。

09

WHAT I LEARNED

AI 产品的核心,
不只是让模型回答问题。

这个项目让我开始从一个更完整的视角理解 AI 产品。

  • 01知识决定 AI 知道什么。
  • 02Prompt 和规则影响 AI 如何回答。
  • 03评测帮助我们判断它是否足够好。
  • 04反馈闭环决定产品能否持续进步。

在专业业务场景中,真正重要的并不是追求 AI 完全替代人,

而是设计一个 AI 发挥效率优势、人保留专业判断,并让每一次真实使用都成为下一次优化依据的系统。

NEXT PROJECT02

AI 文档答疑助手

让文档从「可阅读」
变成「可提问」。

Next Case Study