19 章 · 一条连贯路线

搜索

理解用户查询,把文档召回、相关性判断和排序连成完整路线。

开始之前: 先修31–34;先学需求与相关性,再学查询、召回和排序。

学习路线

让概念逐步连接。

01

基础与相关性 · 需求决定判断

S01–S02:任务、满意度、分档、分歧、pooling与真实qrels。先修公用31–34。

02

查询处理 · 切分到改写

S03–S06:规范化、中文分词、字段词权重、意图拒识、纠错与漂移;人工例子讲机制。

03

召回 · 索引、词法、向量与缓存

S07–S11:位置/布尔 → BM25 → 冻结语义表示 → 粗簇近似预算 → 候选缓存一致性。28不是HNSW复现。

04

相关性与排序 · 推理、真训练、目标

S12–S15:成对BERT输入和全参数小预算微调 → 排序loss → 真实融合 → 质量与多样性;只报教学select。

05

查询推荐与系统复盘

S16–S18:构造会话的建议召回排序 → 可追溯链路和故障回退 → 正式服务误差诊断。

06

参考 · 已有综合实验

学习主线后的真实SciFact综合参考;旧Notebook、正式模型和已见测试协议保持。

追溯概念来源

课程来源与讲义

配合 Lab 阅读原始资料。每项资料标明范围和原始语言,每个教学单元说明复现边界。

作者课程中文

王树森 · 搜索引擎技术

固定版本:六模块目录、9份PDF。查询处理、召回、排序、查询推荐四模块主要是目录,Lab实验为独立教学实现。

原论文英文

BERT 原论文

模型、输入与预训练背景;本Lab不复现BERT预训练。

章节与来源对应 18 个单元
S03

文本规范化、中文分词与新词

做字典切分、歧义与OOV的可运行对照;解释神经子词与词切分的不同,不把手写词例称真实业务评估。

边界: 人工词例、双向字典匹配与候选计数;没有中文神经切词模型训练。

S04

查询词权重与字段匹配

从词权重出发学习标题/正文、必选词与软权重,比较改权重后的候选和误召;不能将IDF覆盖等同完整query理解。

边界: 四文档字段线性机制,不是BM25F或生产词权重学习。

S05

类目与意图识别

先定义可检验标签与任务,再实现小样本训练或清楚标注规则机制;数据类别不能伪称电商类目或中文用户意图。

边界: 主题/动作人工标签与规则拒识,无真实用户意图准确率。

S06

查询改写、纠错与语义漂移

建立同义/拼写/约束词改写与原查询对照;评估漏召与误召、改写失败和原查询回退;不以生成流畅代替检索正确。

边界: 固定纠错同义规则和故意失败改写,无生成模型收益。

S15

质量、多样性与业务约束

在明确构造的查询候选上比较相关性与约束目标;讨论指标冲突、曝光偏差和线上实验边界,不声称商业增益。

边界: 人工质量/主题与已知propensity机制;不推线上收益或真实IPS。

S18

综合复盘与课程导航

以S01–S17语义路径导航;17作为综合实验参考而非所有课程前置。每节标来源、先修、证据类型和覆盖状态。

边界: 课程语义顺序与来源/先修/证据导航;工业规模和进阶选修不在核心验收。

原始讲义目录 9 份

以下链接打开作者或出版方的原始资料,保留其原始语言和使用条款。

  1. 搜索引擎的基本概念

    01_Basics_01.pdf · 中文

    作者原版中文PDF;Lab正文为独立教学内容。

  2. 什么决定用户满意度

    01_Basics_02.pdf · 中文

    作者原版中文PDF;Lab正文为独立教学内容。

  3. 搜索引擎的评价指标

    01_Basics_03.pdf · 中文

    作者原版中文PDF;Lab正文为独立教学内容。

  4. 搜索引擎的链路

    01_Basics_04.pdf · 中文

    作者原版中文PDF;Lab正文为独立教学内容。

  5. 相关性的定义与分档

    02_Rel_01.pdf · 中文

    作者原版中文PDF;Lab正文为独立教学内容。

  6. 相关性的评价指标

    02_Rel_02.pdf · 中文

    作者原版中文PDF;Lab正文为独立教学内容。

  7. 文本匹配分数

    02_Rel_03.pdf · 中文

    作者原版中文PDF;Lab正文为独立教学内容。

  8. 相关性BERT模型及其推理

    02_Rel_04.pdf · 中文

    作者原版中文PDF;Lab正文为独立教学内容。

  9. 相关性BERT模型的训练

    02_Rel_05.pdf · 中文

    作者原版中文PDF;Lab正文为独立教学内容。