模型架构与工具链选择

本节只回答两个问题：模型架构有什么差别，实验应该使用 API、本地模型还是云端算力。具体模型版本、价格和下载地址变化较快，统一放在附录维护。

当前 LLM 生态的主流模型

与其记模型名称，更值得区分四类结构：

类型	输出方式	常见用途	主要限制
Encoder-only	为输入生成上下文表示	分类、检索、序列标注	不适合直接做长文本生成
Decoder-only	自回归预测下一个 token	对话、写作、代码生成	生成成本随上下文和输出长度增长
Encoder-decoder	编码输入后生成输出	翻译、摘要、结构化转换	训练与部署生态不如 decoder-only 统一
多模态生成模型	将图像、音频等映射到语言模型可处理的表示	图文理解、视觉问答、文档解析	输入处理和评估更复杂

模型系列和具体 checkpoint 见模型获取指南。选择时记录准确版本，不用“某系列最新模型”代替可复现标识。

工具链选择决策表

条件	API	本地模型	租用云端算力
首次验证想法	配置最少	需要下载和运行环境	通常没有必要
数据不能离开受控环境	需确认服务条款	可完全本地处理	取决于云端隔离方案
需要修改模型参数	受服务能力限制	可以训练或微调	适合本地算力不足时训练
调用量波动较大	按量使用方便	需要自行维护容量	可弹性扩缩，但仍需运维
需要检查底层实现	可见性有限	权重和代码取决于许可证	与所选开源模型相同

推荐顺序不是固定的。先写清楚数据边界、模型能力、延迟目标、调用规模和维护能力，再选择运行方式。

数据能否发送给第三方？
├─ 否 → 本地模型，或经过审计的私有云部署
└─ 是
   ├─ 只做原型或调用量不稳定 → API
   └─ 需要训练、底层控制或稳定大规模调用 → 比较本地与云端总成本

模型选择检查表

一次可复现的选择至少记录：

1. 任务与输入模态；
2. checkpoint、修订版本和许可证；
3. 上下文长度、输出格式和语言要求；
4. 质量指标、延迟和预算；
5. 数据是否允许传出；
6. 失败时是否有回退方案。

参数量、排行榜分数和宣传中的“上下文上限”都不能单独决定模型是否适合任务。应在自己的数据和约束下测试。

本教程中的工具边界

• 第 1—4 章默认使用离线 Python 实验，不需要模型服务。
• 第 5—6 章先用离线模拟理解机制，再按需连接 API 或本地模型。
• 第 7 章的轻量实验可离线运行，真实多模态权重通常需要更多存储和显存。
• 第 8 章讨论部署决策，示例不绑定某一家服务商。

首次运行从根目录 Quick Start 开始。API 配置、本地推理、模型下载和容器环境分别见附录 B，脚本依赖见代码运行指南。