Llama3大模型原理代码精讲与部署微调评估实战

本课程首先讲述了有关Transformer和大语言模型(LLM)的关键前置知识, 包括注意力机制、多头注意力、编码器-解码器结构等Transformer原理, 以及LLM的文本生成和LLM微调技术原理。

在此基础上, 重点介绍了Llama 3模型的进化历程、技术原理和代码实现。其中涉及RMSNorm归一化、SwiGLU激活函数、RoPE位置编码、GQA注意力和KVCache等关键技术。通过代码解析, 深入剖析了Llama 3的架构设计和代码实现。

在实践部分, 课程还介绍了如何在阿里云使用Ollama和vLLM部署Llama 3模型, 以及使用llama_factory工具进行基于LoRA和QLoRA的llama3 8B大模型微调。项目实战环节则提供了从准备数据集到训练、推理、评估的全流程指导, 聚焦中文增强和医疗问答两大应用方向。

这是一门内容全面、理论实践并重的大模型课程。不仅系统讲解了LLM和Llama 3的技术原理, 还通过代码解析和实战项目深度剖析了相关技术在工程落地中的关键环节, 有助于学员全面掌握大模型相关知识和动手实战能力。

目录：

1 课程介绍.mp4

2 注意力机制.mp4

3 自注意力机制.mp4

4 Transformer的架构概述.mp4

5 Transformer Encoder的多头注意力.mp4

6 Transformer Encoder的位置编码.mp4

7 Transformer 残差链接、LayerNorm、FFN.mp4

8 Transformer Decoder.mp4

9 Transformer 训练及性能.mp4

10 Transformer机器翻译工作流程.mp4

11 Transformer的Encoder代码解读.mp4

12 Transformer的Decoder代码解读.mp4

13 Transformer的超参设置代码解读.mp4

14 Transformer的训练示例（人为随机数据）代码解读.mp4

15 Transformer的训练示例(德语-英语机器翻译)代码解.mp4

16 结合中文注释代码深入解读1.mp4

17 结合中文注释代码深入解读2.mp4

18 LLM推理方式.mp4

19 文本生成模式.mp4

20 文本生成策略.mp4

21 Token和分词器.mp4

22 文本生成过程.mp4

23 prefill和解码阶段.mp4

24 llama3文本生成过程.mp4

25 文本生成时的QKV含义.mp4

26 大模型开发阶段划分.mp4

27 SFT微调.mp4

28 微调方法(全参、冻结参数、LoRA、QLoRA).mp4

29 LoRA微调.mp4

30 QLoRA微调.mp4

31 llama模型进化史.mp4

32 llama3模型类型.mp4

33 llama大模型生态.mp4

34 llama3模型架构.mp4

35 RMSNorm归一化.mp4

36 SwiGLU激活函数.mp4

37 RoPE旋转位置编码.mp4

38 GQA分组查询注意力.mp4

39 KVCache.mp4

40 各文件功能.mp4

41 completion和chat应用脚本代码解析.mp4

42 generation.py代码解析.mp4

43 model.py代码解析.mp4

44 tokenizer.py代码解析.mp4

45 RMSNorm代码解析.mp4

46 SwiGLU代码解析.mp4

47 GQA代码解析.mp4

48 RoPE代码解析.mp4

49 KVCache代码解析.mp4

50 阿里云实例创建.mp4

51 ollama介绍.mp4

52 ollama安装.mp4

53 llama3推理.mp4

54 vLLM部署llama3.mp4

55 llama_factory介绍.mp4

56 llama_factory安装及llama3模型下载.mp4

57 LoRA微调训练.mp4

58 llama3中文增强大模型推理.mp4

59 llama3中文增强大模型评估.mp4

60 lora文件合并.mp4

61 数据集准备.mp4

62 lora 微调.mp4

63 llama3医疗问答大模型推理.mp4

64 qlora微调 .mp4

65 qlora微调的医疗问答大模型推理.mp4

课程资料.zip