你将学会
- 能在本地独立部署并私有化运行大语言模型
- 能完成文本生成、多轮对话与文本向量嵌入应用
- 理解本地部署相比云端接口的私有化价值
- 能把大模型接入程序并实现工具调用能力
本课程讲解Ollama本地部署大语言模型,覆盖CLI、WebUI及Python调用,帮助学习者私有化落地大模型,提升工程部署能力。
帮助想在自己电脑或服务器上跑大模型、又不想依赖云端付费接口的读者,快速上手一个本地模型运行工具。文章从安装验证讲起,演示如何拉取、查看、复制、删除和后台运行模型,以及如何通过本地接口把模型接入自己的应用。适合人工智能爱好者和应用开发者,读完无需深厚背景即可在本机拉起一个可用的大语言模型服务,为后续二次开发打好基础。
本课程讲解 gRPC 编译安装与 Greeter 示例,解决客户端像调本地函数访问远程服务,帮助学习者写 proto 生成客户端。
本课程通过 pickle 序列化与魔术方法,剖析反序列化漏洞成因,解决模型文件安全存储,帮助学习者识别风险并用 json 替代。
本课程经Softmax瓶颈分析与Huffman树推导,讲解层次Softmax加速原理,解决大词表计算过大,帮助理解概率优化思路。