前面所有招式，这一篇串成一个完整的故事。面试里最有杀伤力的从来不是"我知道什么"，而是"我做成过什么、数字是多少、怎么一步步做到的"。所以这篇用一个贴近真实、带完整数字的案例，把入门到实战的东西全用上。数字是为讲清方法而设的示意，但每一步的做法和因果都是真实项目里的套路——你完全可以照着把自己的项目讲成这样一个故事。

背景与目标

某公司 HR 每天被同样的问题淹没：「产假多少天」「试用期怎么转正」「报销流程」……制度文档是十几个 PDF、几百页，还带大量表格。目标：做一个内部 HR 政策问答助手，让员工自助查询。

一开始就定好可衡量的目标（这点很关键，面试官爱听）：

• 准确率（答对的比例）：≥ 90%
• 幻觉率（编造/答错关键信息）：≤ 3%
• 响应速度（P95）：≤ 3 秒
• 单次问答成本：越低越好
• 权限：不同层级员工只能看到对应制度

第 0 步：先搭基线，把"现状"量化出来

不测量，就没法改进。先用入门那套最朴素的 RAG（PDF 直接 TextLoader + 固定分块 + 向量检索）跑起来，再攒一个 50 题的评测集（覆盖高频问题和刁钻边角），用 LLM-as-judge 自动判分。

基线结果：准确率 60%。看着能用，其实一半场景不合格。更重要的是，评测集帮我们看清了错在哪：大量错误集中在"表格类问题"（假期天数、报销额度这些答案都在表格里）和"换个说法就搜不到"。

这一步的价值：你有了一把尺子和一张问题地图。 后面每一步优化，都能用它量化出到底有没有用。

第 1 步：治脏文档 → 60% 到 72%

发现最大的坑是表格全糊了——PDF 里规整的假期表，被提取成一团乱字，模型根本读不懂。改用能保留结构的解析、把表格转成 Markdown 表格，再用父子分块（子块检索精准、父块上下文完整）。

结果：准确率 60% → 72%，"表格类问题"的错误率大幅下降。一个解析问题，抵得上后面一堆花哨优化。

第 2 步：治召回 → 72% 到 84%

接着看剩下的错题，大多是"用户用词和文档对不上""正确资料排在后面没被取到"。对症下药：查询改写（一句扩成多句）+ 混合检索（关键词 BM25 + 向量）+ 重排序（把最相关的顶到前 3）。

结果：准确率 72% → 84%。这一步是"召回"和"精度"的组合拳，进阶 RAG 那两篇的价值在这里集中兑现。

第 3 步：治幻觉 → 84% 到 90%

剩下的错题里，出现了更棘手的一类：资料其实检索到了，模型却自己加戏、编了资料里没有的细节。 修法：提示词死约束「只依据资料回答，没有就说没查到」+ 给答案加引用溯源（标到"XX制度 第X页"）。溯源既让员工敢信，也让我们一眼能抓出模型在哪编。

结果：准确率 84% → 90%，幻觉率压到 3% 以下。目标达成。

第 4 步：把成本和延迟压下来

效果达标后，再优化"性价比"。用追踪看 token 花在哪，发现两个大头：多轮对话历史越滚越长、高频重复问题反复烧钱。对策：摘要中间件压缩历史 + 缓存高频问题 + 简单的意图判断换小模型。

结果：单次问答成本降约 40%，P95 延迟从 4 秒多降到 2.5 秒（缓存命中的秒回）。

第 5 步：加权限，正式上线

最后补上企业刚需：给文档打权限标签（普通制度全员可见、薪酬等敏感文档限管理层），把权限作为检索前置过滤，让员工只能查到自己有权看的。上线时配齐监控（错误率、延迟、成本、定期用评测集跑分）和一个"有用/没用"反馈按钮——把点"没用"的问题持续收集进评测集，形成"上线→发现→补题→优化"的正循环。

最终成绩单

指标	基线	最终
准确率	60%	90%
幻觉率	~15%	< 3%
P95 延迟	4.2s	2.5s
单次成本	基准	降 ~40%

复盘：这个案例真正想教的

具体数字不重要，重要的是这套做事的方法，它才是面试官眼前一亮的东西：

先量化、再优化。 第 0 步搭基线、建评测集看似"慢"，却是后面每一步都能说清"提升了多少"的前提。没有尺子，一切优化都是玄学。

用数据找瓶颈，把力气花在刀刃上。 每一步都是"看错题分布 → 定位最大短板 → 针对性修 → 再测量"。治脏文档带来的 12 个点，比盲目堆三个花哨技巧都值。

先达标，再提效。 先把准确率、幻觉率做达标（第 1~3 步），再回头优化成本和延迟（第 4 步）。顺序反了，容易在错的地方过早优化。

按需引入，而非炫技。 这个案例没用多智能体、没用 MCP——因为不需要。能解决问题的最简方案，就是最好的方案，这份克制本身也是成熟度的体现。

如果你能把自己的项目，讲成这样一个"有背景、有指标、有迭代、有数字、有取舍"的故事，那你展现的就不是"学过教程"，而是"真能把东西做出来、做好"——这，就是最能打动人的能力。