你将学会
- 掌握 TF-IDF 衡量词重要性的核心公式与直觉
- 理解对数平滑与逆文档频率平滑背后的原因
- 能独立完成文档向量化与关键词提取任务
- 能用于文档检索与特征工程的实际场景
- 建立文本数值化与词权重度量的基础认知
本课程通过TF/IDF推导与向量器拆解,讲解文本数值化与关键词权重,解决文档向量化与特征提取,帮助完成文本特征工程。
讲解文本处理里一种用来衡量一个词在文档中到底有多重要的经典加权方法。文章拆成两个视角:词在本文出现得多不多,以及它是不是在整个语料里都到处都是,后者越普遍则越要被降权。同时说明了平滑处理为何在实际工程中必不可少。面向做关键词抽取或文档向量化的读者,读完能明白该指标背后的直觉,也能看懂工具库里默认参数在做什么。
本课程经异常与提前返回反例,讲解lock_guard等RAII锁管理器,解决手动解锁遗漏导致死锁泄漏,帮助写出异常安全多线程代码。
本课程通过 FastText 词向量与文本分类,讲解轻量级 NLP 建模,解决资源受限下向量化分类,帮助学习者落地 NLP 系统。
本课程通过浮点与定点存储对比,讲解小数表示底层原理,解决浮点数精度丢失问题,帮助学习者按场景选择存储方式,提升数值计算准确性。