Research group meeting: weekly progress, results and next steps
A Chinese progress update for a graduate research meeting, made from messy lab notes, a results workbook and a reading list: the experiment workflow as an editable diagram, retrieval and answer results as native charts, open questions and next week's plan. Next week's deck was made from this one plus the new notes, so the results update and the design stays.
Week 2: last week's deck, plus this week's lab notes (Markdown), results workbook (Excel) and reference list. Week 1 was made from the first three alone.
With these instructions这是下一次组会（第 10 周，10/30）。第一个来源是上次（第 9 周）的组会汇报：保持它的页面顺序和版式，用本周的实验记录、结果表和参考文献（其余来源）更新进展、结果、问题和下周计划。在开头之后增加一页“相比上周”：上周三个未解决问题各自的进展。泄漏检查后所有数字已重算，结果页要同时列出泄漏处理前后的两套数字，不能只放好看的。 研究生组会汇报（第 10 周，10/30），由研二学生陈若向导师和课题组汇报本周进展。把实验记录、结果表和参考文献整理成清楚的进展汇报：课题与本周目标、实验流程（可编辑流程图）、检索与端到端结果（原生可编辑图表，只用结果表中的数字）、尚未解决的问题、下周计划，并在相关页面标注参考文献。采用固定、可复用的组会结构，每周同样的页面顺序和版式，下次组会只需更新数据和结论。研究与数据均为虚构，含数据页面标注“演示数据”，来源行写“来源：陈若实验记录（演示数据）”。演讲者备注要帮助讲清本周的研究故事：做了什么、发现了什么、哪里还不确定、想请老师给什么建议，不要逐字重复页面文字。
Free to download, no sign-in needed. Open it in PowerPoint and change anything.
- Look
- Sketch Notes
- Deck type
- Academic Research
- Images
- No images
- Slides
- 11
- Deck language
- 中文 (简体)
Every slide, unedited
Click a slide to see it large.
-
1第10周研究进展｜10/30
Speaker notes
李老师、各位同学好，我是陈若，今天汇报第十周中文医疗问答 RAG 检索器领域微调的进展。接着上周对收益可靠性的疑问，这周我先剔除疑似重叠题并重算结果，再引入困难负样本，同时检查生成答案有没有检索证据支持。目前检索改善仍然存在，但人工检查发现，指标提高还不能说明答案都有依据；本次研究和数据均为虚构，仅用于演示。
-
2相比上周：三项疑虑均已推进，验证边界仍需保留
Speaker notes
围绕刚才这条主线，上周留下的三个问题，这周都有了推进，但还不能说已经解决。数据方面，剔除了50道疑似重叠题，剩余1,150题上的检索和答案指标全部重算；负样本方面，对BM25候选做了答案相似度过滤，再用于训练。切分消融固定微调加困难负样本的条件，512字的Recall@5为71.6%，高于256字的69.8%和1024字的66.3%，所以当前继续使用512字。这里要保留两个边界：重叠筛查不能保证完全没有泄漏，长段落表现下降也还不能直接归因于信息混杂。
-
3本周检验：排除疑似重叠后，检索收益是否仍存在？
Speaker notes
这些进展把本周的问题从流程能否跑通，推进到了收益是否经得起检查。具体来说，我想确认剔除疑似重叠题后，领域微调的优势是否还在，再在固定生成器的条件下，观察新增训练方法是否同时改善召回、排序和最终答案。
-
4沿用RAG与稠密检索框架，本周增加困难负样本
Speaker notes
为了回答这个问题，方法上仍然把变化集中在检索端，没有同时调整生成器。RAG和稠密段落检索提供整体框架，医疗领域微调是主要训练方向，BM25则用于提供困难负样本候选。本周新增参考的是Xiong等人的困难负样本学习工作，但这里只借鉴训练思路，并不是完整复现论文方法。这样限定范围，是为了让结果主要围绕检索方案的差异来解释。
-
5疑似重叠题剔除后，检索与端到端评测全部重算
Speaker notes
沿着这个实验边界，这周对训练负样本和评测数据分别做了处理，两者的阈值用途不同。训练仍使用38k问答对，从BM25前50个候选段落中，排除与答案相似度大于0.9的段落，目的是减少把可回答问题的段落误当负例的风险。评测则把与训练集n-gram重叠大于0.8的题列为疑似，原来1,200题中有50题符合条件，占4.2%，剔除后对保留的1,150题全部重算。主结果使用86,000段语料和512字切分，端到端阶段保持生成器固定；这些规则是风险控制措施，不是风险已经清零的证明。
-
6先比较泄漏处理前后，再判断新增方法收益
Speaker notes
明确了数据和训练的变化之后，结果就需要分成两种比较来看：既有方法处理前后怎么变，以及在同一套重算评测集上新增方法是否更好。下面依次看召回、排序和答案，尤其注意跨周混合方案还增加了困难负样本，不能把所有变化都解释成剔除疑似题的影响。
-
7重算后微调仍优于基线，困难负样本进一步提高召回
Speaker notes
先看召回，重算确实让既有方法的数值有所下降，但没有消除领域微调相对通用基线的优势。纯微调的Recall@5从68.9%降到67.5%，而重算后的通用基线是60.8%，说明旧评测可能偏乐观，但微调收益仍然存在。在同一套重算评测集上，加入困难负样本后达到71.6%，比纯微调高4.1个百分点，进一步混合BM25后达到72.9%。Recall@20也呈现相同方向，从纯微调的85.2%提高到88.4%，混合方案达到89.6%；不过处理前后的混合方案训练条件不同，不能直接把跨周差值当成单一因素的收益。
-
8排序收益在重算后仍存在，并随困难负样本继续改善
Speaker notes
召回提高之后，还需要确认相关段落是否排得更靠前，MRR给出的方向与召回一致。纯微调的MRR@10从处理前的0.562降到重算后的0.551，但仍高于重算基线的0.493；加入困难负样本后为0.588，混合方案为0.601。因此，当前改善不仅体现在候选覆盖上，也体现在排序上。不过这些仍然是点估计，还不能据此断言收益具有统计稳定性。
-
9固定生成器后，新检索方案的答案指标高于重算基线
Speaker notes
检索端两个层面的改善之后，我进一步看了固定生成器时，最终答案是否也有变化。在重算评测集上，微调加困难负样本的答案F1为59.4、EM为37.1，高于通用基线的51.9和30.7；混合方案进一步达到60.2和37.8。处理前的结果也保留下来，但旧的微调和混合方案没有困难负样本，因此跨周比较同时涉及评测集和方法变化，不能作纯去泄漏归因。更重要的是，这些自动答案指标提高，并不等于回答已经具备临床正确性或充分的证据支持。
-
10人工检查发现无依据内容，答案可靠性仍未解决
Speaker notes
正因为自动指标不能回答证据是否充分，我又人工检查了100条生成答案，其中18条含有检索段落中没有的说法。这里的无依据，是指当前检索证据不支持答案中的内容，不应仅凭这一点就把它等同于医学事实错误。这一观察也只适用于已经检查的100条，不能外推为总体发生率。它提示下一步不能只继续追求检索分数，而需要单独评估答案的证据支持；负样本风险是否充分控制、长段落为什么表现下降，也仍然需要验证。
-
11下一步优先验证答案依据，同时继续长文档优化
Speaker notes
基于这个发现，我建议下周把答案依据验证放在优先位置：尝试要求每句话标注出处段落，再逐句检查引用是否真正支持对应说法，而不只看有没有引用。同时计划由两人标注100题，评估无依据内容和有用性，并继续尝试按章节切分长文档；这些都是拟开展工作，还没有结果。本周能保留的结论是，重算后检索收益仍在，困难负样本进一步改善了指标，但答案可靠性尚未解决。想请李老师和各位同学建议，人工评测是否按先证据支持、再有用性的顺序推进，谢谢大家。
What you can change in the file
Every word is real text
Titles, bullets and labels are text boxes. Retype them, restyle them or translate them.
Diagrams are shapes
Boxes, arrows and icons are PowerPoint shapes you can move, resize and recolour.
Pictures stay separate
Photos and illustrations are their own images, so you can swap or crop them.
Charts are real charts
Each chart keeps its numbers in its own Excel sheet. Choose Edit Data, type new figures and the chart redraws.
Week 9 → Week 10: what changed, what stayed
1Retrieval results: recomputed numbers shown beside the numbers before the leak was removed.
2The experiment workflow: the same diagram, with this week's leak check added.
3Last week's three open questions, and what happened to each.
Group AI transformation: a three-year investment plan for the board
Family office: annual portfolio review and risk analysis
Premium brand goes global: market entry and growth plan
Make your next deck in minutes, then make it yours.
Start with 20 free credits. No card needed.
Start free