35 · 需求、分级标注与评估
人工任务、会话与分级判断;不是 SciFact 分级标签
19 章 · 一条连贯路线
理解用户查询,把文档召回、相关性判断和排序连成完整路线。
开始之前: 先修31–34;先学需求与相关性,再学查询、召回和排序。
学习路线
S01–S02:任务、满意度、分档、分歧、pooling与真实qrels。先修公用31–34。
人工任务、会话与分级判断;不是 SciFact 分级标签
深入搜索 · 真实语料/明确子集 · 公式与单变量实验 · 共享服务
S03–S06:规范化、中文分词、字段词权重、意图拒识、纠错与漂移;人工例子讲机制。
人工中文词例;字典机制,非神经中文模型训练
构造英文库存;可解释字段打分,非BM25F完整实现
人工标签与规则机制;无真实中文用户意图训练
人工拼写、同义词与约束例;非生成模型效果评估
S07–S11:位置/布尔 → BM25 → 冻结语义表示 → 粗簇近似预算 → 候选缓存一致性。28不是HNSW复现。
四文档小索引与穷举;非分布式引擎
深入搜索 · 真实语料/明确子集 · 公式与单变量实验 · 共享服务
深入搜索 · 真实语料/明确子集 · 公式与单变量实验 · 共享服务
深入搜索 · 真实语料/明确子集 · 公式与单变量实验 · 共享服务
逻辑时钟和构造库存;无真实缓存流量
S12–S15:成对BERT输入和全参数小预算微调 → 排序loss → 真实融合 → 质量与多样性;只报教学select。
真实SciFact训练分区32/8查询;TinyBERT全参数微调;非中文训练或论文复现
构造分级标签与真梯度优化;29保留真实多特征融合训练
深入搜索 · 真实语料/明确子集 · 公式与单变量实验 · 共享服务
构造任务目标;非真实曝光或商业增益
S16–S18:构造会话的建议召回排序 → 可追溯链路和故障回退 → 正式服务误差诊断。
完全构造查询日志;无真实用户或隐私数据
构造链路API与正式SciFact API分开;复用同一服务
深入搜索 · 真实语料/明确子集 · 公式与单变量实验 · 共享服务
学习主线后的真实SciFact综合参考;旧Notebook、正式模型和已见测试协议保持。
SciFact真实标注 · 冻结小模型 · 训练线性排序 · 同一实验目录
没有匹配的章节,请换个关键词或清空搜索。
追溯概念来源
配合 Lab 阅读原始资料。每项资料标明范围和原始语言,每个教学单元说明复现边界。
固定版本:六模块目录、9份PDF。查询处理、召回、排序、查询推荐四模块主要是目录,Lab实验为独立教学实现。
补充倒排、查询处理、检索与评估。原站在本次网络核验中连接中断;可先用王树森讲义。
模型、输入与预训练背景;本Lab不复现BERT预训练。
成对重排方法参考;小预算TinyBERT教学实验不是原论文基准复现。
补充不同检索场景、用户满意度与离线代理指标之间的区别;构造会话对比,不能把NDCG当满意度。
边界: 人工会话不代表真实满意度;NDCG是离线代理。
增加分级相关性、标注分歧与pooling;手算gain/discount;旧SciFact读取将正标签二值化,不冒充分级标签实验。
边界: 构造分级判断;SciFact保持二值与不完整qrels。
做字典切分、歧义与OOV的可运行对照;解释神经子词与词切分的不同,不把手写词例称真实业务评估。
边界: 人工词例、双向字典匹配与候选计数;没有中文神经切词模型训练。
从词权重出发学习标题/正文、必选词与软权重,比较改权重后的候选和误召;不能将IDF覆盖等同完整query理解。
边界: 四文档字段线性机制,不是BM25F或生产词权重学习。
先定义可检验标签与任务,再实现小样本训练或清楚标注规则机制;数据类别不能伪称电商类目或中文用户意图。
边界: 主题/动作人工标签与规则拒识,无真实用户意图准确率。
建立同义/拼写/约束词改写与原查询对照;评估漏召与误召、改写失败和原查询回退;不以生成流畅代替检索正确。
边界: 固定纠错同义规则和故意失败改写,无生成模型收益。
补AND/OR、短语与位置、字段约束;建小索引并用穷举核验。增量/删除作为工程拓展,不包装成分布式引擎。
边界: 四文档位置索引、穷举核验与重建换代,不是分布式增量引擎。
复用现有章节;放在查询分析与倒排之后,补与前序词权重及误差的连接。
边界: 26章原真实BM25实验;已见测试只作诊断。
保留冻结编码器教学;明确并未完成召回编码器训练或工业embedding系统。
边界: 27章冻结MiniLM,不是召回编码器训练。
保留机制验收,不标成HNSW/FAISS完整复现;图索引、压缩等列进阶选修,可按资源补最小对照。
边界: 28章12簇教学索引,不是HNSW/FAISS全实现。
模拟缓存命中、TTL、陈旧文档与回退;统计成本和结果差异,区分特征缓存、候选缓存与结果缓存。
边界: 逻辑时钟与loader调用成本,不是实测线上缓存收益。
补交叉编码/双编码的输入和复杂度、pair截断与batch推理;真实打分与候选上限对照。
边界: 42章真实TinyBERT成对输入、截断/batch/预算对照只用训练分区;29章另保留已见测试查询的诊断。
显式做小预算相关性模型训练/微调和冻结对照,按query切分与train-only负例策略;只报教学select,新run隔离,不替换正式服务。
边界: 32/8训练/选择query,128弱监督pair、2 epoch;无盲测或效果提升结论。
补pointwise/pairwise/listwise区别、训练目标与排名指标不一致;至少一个可运行目标对照,弱负例边界写清。
边界: 构造分档三loss真优化;真实融合沿用29章弱负例。
在明确构造的查询候选上比较相关性与约束目标;讨论指标冲突、曝光偏差和线上实验边界,不声称商业增益。
边界: 人工质量/主题与已知propensity机制;不推线上收益或真实IPS。
按前缀建议、相关查询与会话需求分别定义任务,做候选生成/排序/离线评估;合成query日志需显著标识。
边界: 构造会话、模板重合显式披露;RR与前缀precision/recall仅机制。
补查询处理→多路召回→缓存→重排的可追溯链路、空结果和故障回退;新模块仍同一服务。
边界: 构造教学API独立标识;原真实API与性能诊断沿用30章。
以S01–S17语义路径导航;17作为综合实验参考而非所有课程前置。每节标来源、先修、证据类型和覆盖状态。
边界: 课程语义顺序与来源/先修/证据导航;工业规模和进阶选修不在核心验收。
以下链接打开作者或出版方的原始资料,保留其原始语言和使用条款。