7.2 从非视觉信号到语言对齐

核心问题： 音频、振动、雷达、通信 I/Q 或多通道传感器信号，如何进入语言模型可以使用的表示空间？

在线 Notebook

对应的交互式版本可在 Google Colab 打开，统一使用方式见 第0章说明。

图像只是信号的一种。第 1 章用时域、频域和时频域描述观测，第 7 章进一步追问：这些表示怎样与事件名称、状态描述、诊断结论或操作指令建立对应关系？

图 7.2-1：非视觉信号先经过与任务匹配的变换和编码，再通过对比目标、标签或指令数据与语言表示对齐。对齐质量和表示成本必须共同验收；把波形转成 token 并不等于已经对齐。

从 DSP 表示开始

设观测为 $x(t)$。进入模型前，首先要决定保留哪类结构：

输入	常见表示	重点保留的信息	容易丢失的信息
音频	波形、频谱、梅尔谱、时频图	音高、谐波、瞬态、节奏	绝对相位、细粒度时间边界
振动与设备信号	时域窗口、包络谱、阶次谱	周期冲击、故障频率、趋势	工况变化与传感器差异
雷达与通信 I/Q	复数采样、距离—多普勒图、星座图	时延、速度、相位和调制结构	前处理后的原始相位关系
多通道传感器	对齐窗口、通道图、事件片段	通道相关性和事件演化	异步采样与缺失通道信息

这与 ViT 的 patch 化是同一个问题：先把连续或高维观测切成有限个表示单元，再交给编码器。区别在于，非视觉信号通常还要处理采样率、窗口、复数值、通道同步和物理单位。

三种接入方式

1. 双编码器：对齐到共享向量空间

信号编码器 $f_s$ 和文本编码器 $f_t$ 分别生成向量：

$$z_s=\frac{f_s(x)}{\Vert f_s(x)\Vert },z_t=\frac{f_t(y)}{\Vert f_t(y)\Vert }.$$

用配对的信号—文本样本做对比学习，使正确描述的相似度高于不匹配描述。这种结构适合检索、分类和零样本匹配，但单个全局向量可能掩盖事件发生时间。

2. 序列接口：把信号 token 接入 LLM

信号编码器输出序列 $H_s\in {\mathbb{R}}^{m\times d_s}$，再通过投影器或查询模块转换到语言模型维度：

$$H_{\text{llm}}=g(H_s)\in {\mathbb{R}}^{k\times d_{\text{llm}}}.$$

$k$ 是进入语言模型的信号 token 数。压缩得太强会丢失短时事件，保留过多则增加上下文和模型推理成本。

3. 工具接口：保留确定性信号算法

并非所有物理量都应由语言模型直接估计。频率、峰值、时延或告警阈值可以继续由确定性算法计算，再把结构化结果交给 LLM 解释。这样能保留可校准的测量链路，也便于定位错误来自信号处理还是语言生成。

对齐监督从哪里来

“信号—语言”配对数据可以有不同粒度：

• 片段级：一段音频对应“玻璃破碎”；
• 时间定位：区间 $[t_1,t_2]$ 对应某个事件；
• 状态级：一段振动对应设备状态和工况；
• 报告级：多通道记录对应诊断报告；
• 指令级：给定信号与问题，输出测量、解释或处置建议。

标签粒度必须与任务一致。只有片段级标签的数据，不能直接证明模型学会了事件时间定位；只有自动生成描述的数据，也不能替代物理量校验。

如何判断真正完成了对齐

需要分开测量四层结果：

1. 信号表示：事件、频率或状态信息是否仍可被基础模型识别；
2. 跨模态对齐：正确文本能否在检索或匹配中排在前面；
3. 语言输出：生成描述中的事实是否有信号证据支持；
4. 系统代价：窗口数、信号 token、内存、延迟和能耗是否满足部署预算。

如果量化后文本仍流畅，但事件召回率下降，说明语言能力保住了，信号表示却没有保住。端侧验收必须保留这种分层指标，第 8.6 节会继续讨论。

最低实践任务

选择第 1 章的一种一维信号，例如稳态正弦、chirp、脉冲或含噪混合信号：

1. 比较原始波形、频谱和时频图三种表示；
2. 为信号写一个片段级文本标签和一个包含时间或频率事实的描述；
3. 说明若采用固定窗口 token、事件 token 或全局向量，分别会保留和丢失什么；
4. 给出至少一个信号侧指标和一个语言侧指标。

完成标准：能够画出“观测—变换—编码—对齐—输出”链路，并指出错误可以在哪一层产生，而不是只说“把信号输入多模态模型”。

与前后章节的连接

• 第 1 章决定观测怎样表示，以及采样、窗口和噪声带来什么限制；
• 第 4 章提供序列 token、注意力和位置关系；
• 第 5 章提供文本表示、预测和生成接口；
• 本节把这些组件用于信号—语言对齐；
• 第 8.6 节用端侧资源预算检验表示是否足够紧凑。

---

上一节： 7.1 视觉—语言对齐
下一节： 7.3 多模态架构