单机部署
模型加载、API 服务与应用调用,得到一个可运行的 LLM 服务。🚧 规划中
Alpha 内测版
教程正在持续完善,部分章节仍为大纲或待补充内容。阅读时请以各章现有正文与验证记录为准,欢迎通过 GitHub Issue 反馈问题。
模型能跑起来之后,下一步往往是把它变成大家都能用的服务:一台机器能撑住多少并发?精度与量化、批处理、KV Cache 和框架配置该怎么选?实验室里的几台 AMD 设备,又该怎样连成一个多人共享的 LLM 服务?
Hello MLSys 以 vLLM 在 Linux 上走通主线、llama.cpp 做对照实验并覆盖 Ryzen AI MAX+ 395 等端侧设备,带你从单机部署走到多机 LLM 服务,重点回答一个问题:
给定设备、任务和服务目标,怎样选择模型精度、推理框架与资源配置,让整体服务更高效?
为了让每个选择都有依据,本教程坚持先预测、再实测:先用模拟器 mlsys-simulator 估算性能、显存与容量边界,再挑选少量配置上 AMD 真机验证,解释偏差、校准模型,最后做出配置决策。
章节顺序就是推荐的学习顺序:
单机部署与多机服务两个模块正在编写中,完成后插入全书相应位置;完整章节见全书目录。
三个项目可以独立学习,也能通过同一个模型串联实践:在 hello-rocm 中训练、微调和使用模型,在 hello-gpu 中理解并优化计算,在 hello-mlsys 中将模型部署为高效的共享服务。
| 项目 | 标语 | 核心定位 |
|---|---|---|
| hello-rocm | 每个 AI 小白,从零开始,动手实践的第一站。 | 基于 AMD 平台的 AI 与 Agentic AI 入门实践手册 |
| hello-gpu | 看懂 GPU,亲手优化每一次计算。 | 从自己训练的小模型数据类型、GEMM 优化出发,学习 GPU 编程与 Agent 辅助优化 |
| hello-mlsys | 连接设备,搭建平台,让每一份 AI 算力更高效。 | 以 vLLM 等开源推理框架为案例,学习 LLM 服务部署、性能优化与多机服务构建 |
建议具备 Python、PyTorch 和 Linux 基础。环境安装、AI 入门与模型微调可参考 hello-rocm,GPU 编程与算子优化可参考 hello-gpu。