Part 2 L1 202606 | 组队学习口记录

1. 概览

本周期面向 Part 2 的 L1 学习内容，用于记录这一次组队学习的计划、Task 笔记、助教出题和讨论复盘。

2. 学习主线

按下面这条 Part 2 主线推进：

• 从 基础算子 到 注意力， 从 注意力 到 模型组装，从 模型组装 到 MoE，从 MoE 到 训练与微调

Task1：PyTorch 入门与基础算 - 00 PyTorch Warmup - 01 RMSNorm Tutorial

Task2：激活函数与位置编码 - 02 SwiGLU Activation- 03 RoPE Tutorial

Task 3：Attention 核心实现 - 04 Attention MHA/GQA

Task4：模型块组装 - 05 LLaMA3 Block Tutorial - 06 MoE Router

Task5：MoE 与结构技巧 - 07 MoE Load Balancing Loss - 08 Architecture Tricks

Task6：训练、微调与学习率策略 - 09 SFT Training Loop - 10 LoRA Tutorial - 11 Optimizer Updates and Learning Rate Scheduling

3. 群内讨论

Top 10 大模型算法系统核心基础知识

为什么说“传统初学者容易犯的错误是先选 Top-K 的 logits，再做 Softmax”？

4. 助教出题

【每日竞答集锦】https://my.feishu.cn/docx/XmJhdlEWIoPoXyxYeCZcd9K3n0c?from=from_copylink

5. 优秀笔记

所有笔记在一个地址

• 没有组队的“GA”同学@GA：https://www.yuque.com/inevitab1e/vg3s8d/wq1axgezqi15ztkt?singleDoc=

• 来自“MoE气氛组”小队的“吃葡萄不吐葡萄皮”同学@吃葡萄不吐葡萄皮：https://xcnfq0veu1ny.feishu.cn/wiki/PNW7wiTaoiZOB8kvBu1coyMjnkc?from=from_copylink

• 来自注意力全押队的三分梦：https://www.notion.so/LLM-Algo-LeetCode-380ba3ad196a80319c8ae2cdc40bb560?source=copy_link

具体任务以及对应优秀笔记

Task 1：PyTorch 入门与基础算子

• 来自“注意力全押队”小队的“Albert”同学： https://zhuanlan.zhihu.com/p/2050371313240477879

• 来自“新手营“的月芽踏浪：[可视化，基础友好] https://iambecauseithink.github.io/llm-algo-leetcode/02_PyTorch_Algorithms/learning_notes_html/notes/00_pytorch_warmup.html

Task 2：激活函数与位置编码

• 来自“MoE气氛组”小队的“ZZ”同学@ZZ： https://github.com/ZZ7777679/llmstudynotes1

• 来自“新手营”小队的“15”同学： https://github.com/bacy354-cloud/My-Code/blob/main/LLM-code notebook/5.03_RoPE.md

Task 3：Attention 核心实现

• 来自“新手营”小队的“15”同学： https://github.com/bacy354-cloud/My-Code/blob/main/LLM-code notebook/6.04_Attention_MHA_GQA.md

• 来自“新手营”小队的“ad astra”同学@ad astra： MHA / GQA / KV Cache - 知乎 https://zhuanlan.zhihu.com/p/2049613878821119345

Task4：模型块组装

Task5：MoE 与结构技巧

• 来自“新手营“的月芽踏浪：[可视化，基础友好] https://iambecauseithink.github.io/llm-algo-leetcode/02_PyTorch_Algorithms/learning_notes_html/notes/07_moe_load_balancing_loss.html

Task6：训练、微调与学习率策略

• 来自“新手营“的月芽踏浪：[可视化，基础友好] https://iambecauseithink.github.io/llm-algo-leetcode/02_PyTorch_Algorithms/learning_notes_html/notes/09_sft_training_loop.html

6. 状态

已完成