← 返回书架人工智能 · 交互式 Wiki

模型能力与应用进阶专题讲解

MODERN AI / MULTIMODAL

多模态：把不同信号接入同一计算图

视觉编码器把像素转换成一组特征，连接器把它们映射到语言模型可接收的宽度；音频、视频还增加了时间和对齐问题。

01 / FORWARD PATH

一张图怎样进入语言模型？

01 / PIXELS

解码、缩放、切块

图像 [B,3,H,W]。resize、裁剪、颜色空间和归一化由 processor 固定。

02 / VISION ENCODER

像素变成特征

例如 ViT 输出 [B,Nv,dv]。patch 大小和分辨率影响特征位置数。

03 / CONNECTOR

对齐到语言接口

线性/MLP projector 或 resampler 将特征转为 [B,Nv',d]。

04 / LANGUAGE MODEL

视觉与文本交互

可把视觉特征插入输入序列，也可用 cross-attention 接入；再预测文本。

插入语言序列的是连续视觉向量，不一定是 tokenizer 词表中的离散 ID；图像占位符只负责标记插入位置。投影到同一维度只解决 shape，语义对齐还需要训练。模型也可能用固定数量的 query 压缩视觉特征，因此 LLM 接收的视觉 token 数还取决于连接器的处理方式。

02 / TOKEN BUDGET

为什么高清图片和视频会迅速吃掉上下文？

视觉位置与序列预算

简化 ViT + 均匀合并，不含特殊 token

方形输入边长 patch 边长每帧合并比例帧数

每帧原始 patch

视觉 token 总数

加 512 文本 token

图像是人工绘制的输入示意，未运行视觉编码器或 OCR。Nv = ceil(H/p)·ceil(W/p)，Nv' = ceil(Nv/merge)，总视觉位置 = 帧数·Nv'。真实模型可能多裁剪、多尺度或固定 resampler，需查 processor。

更多 patch 可能保留小字与细节，也增加视觉编码和语言序列成本。更多帧可能覆盖动作过程，也会重复静态内容。时间分辨率同时取决于帧数和采样间隔；评估视频任务时还应记录帧时间戳、采样间隔和事件是否被漏采。

03 / TRAINING RECIPE

通常训练什么，什么时候解冻？

目标/阶段	训练信号	哪些参数可能更新	主要风险
图文表示对齐	成对图文的对比学习，或用图像条件生成 caption。	视觉/文本编码器、投影层；具体取决于配方。	caption 偏差、图文错配、负例重复；细节问答能力需单独评估。
连接器对齐	图像特征条件下的文本预测。	常先固定语言/视觉底座，只训练连接器。	语言先验可能补写图中缺少的细节，需检查回答依据。
视觉指令微调	图像 + 问题 + 回答，常对 assistant 文本计 CE。	连接器、LLM 的全参/adapter；视觉塔可冻结或部分解冻。	训练只看见固定题型；OCR、图表、空间关系与多图指代需分别覆盖。
生成图像或语音	离散 codec/token CE、扩散去噪、速度场等。	模态生成器与条件接口；不一定复用聊天 LM head。	对齐、重建误差、采样质量与时延；不能只用语言模型 perplexity 判断。

04 / TIME AND ALIGNMENT

音频、视频与评估的额外约束

音频的文字、韵律与环境信息

ASR 将声音映射为文字；音频编码器或 codec token 还可保留说话人、韵律与环境信息。转写正确率不足以衡量情绪、轮次切分、流式延迟与语音生成质量。

时间是模型输入的一部分

视频帧、音频片段与文字字幕必须有对齐方式。静态拼图能覆盖外观，却可能丢掉先后顺序；打乱帧序、改时间戳是检查时间依赖的对照。

检验回答对图像的依赖

图像替换、局部遮挡、同题不同图、只给文本基线、计数与位置扰动可用于检查视觉依赖。分别报告感知错误、推理错误和依赖语言先验的错误。

processor 也是工件

保存分辨率、裁剪、归一化、视觉塔 revision、图像占位符规则和多图顺序。相同 LLM 权重配错 processor，输入分布就改变了。

扩散和 Flow Matching 数据处理与过滤模型工件

05 / JOINT TRAINING

原生多模态：哪些模块和数据一起训练？

“原生多模态”需要进一步拆成可核对的配方：哪些模态进入预训练、编码器何时解冻、共享哪些参数、每种输出使用什么目标。一个统一模型仍可包含专用视觉/音频编码器和输出模块。将多个信号映射到同一宽度后，还要通过任务与数据学会跨模态对应。

任务	可见条件	监督目标	需要控制
音频理解与转写	音频特征、文本问题、历史。	转写或语义回答 token；任务混合明确。	噪声、口音、非语音声音，是否只学到 ASR。
语音生成	文本、上下文、可选说话人或音频特征。	codec 离散码、波形重建或其他模态损失。	内容一致、韵律、时延与流式生成约束。
视频与声音联合理解	带时间戳的帧、音频片段和文本。	时间定位、事件描述、问答或跨模态预测。	采样时间对齐、未来信息泄漏、缺失模态与单模态捷径。
保留文本能力	纯文本与多模态任务混合。	原有语言和指令目标。	模态占比、有效 token 分母、梯度尺度与原能力回归。

\mathcal L_{\mathrm{mix}}=\sum_m\lambda_m\,\mathbb E_{(x,y)\sim\mathcal D_m}\!\left[\mathcal L_m(x,y)\right]

Qwen3-Omni（2025）提供了一个公开案例：Thinker 处理多模态理解并生成文本，Talker 结合文本和多模态条件生成语音 codec；小型 MTP 模块预测同一音频帧的残余码本，Code2Wav 逐步还原波形。模块各自的角色、状态和延迟都可拆开检查。

其训练报告区分编码器对齐、联合训练、长上下文阶段和后训练。阅读时还应看文本与其他模态的消融：去掉声音或打乱帧序是否改变结果，文本能力是否退化，模态不齐全时怎样工作。这里的 Thinker/Talker 是结构名称，具体可见推理行为需另外说明。

案例依据：Qwen3-Omni Technical Report，2025-09-22。这里只采用结构与训练阶段说明，不把报告中的时延移植为通用常数。

06 / STREAMING

边接收边处理，延迟和积压怎样产生？

流式系统需要因果或受限前瞻的编码器、可增量消费的状态，以及能分块输出的解码器。完整输入尚未结束时可以处理已到达的块，但回答何时可以开始，还取决于轮次判断、语义和任务要求。语音输出的首包延迟与稳定播放速度需要分别测量。

分块处理时间线

单服务队列 · 人工时长

输入块到达间隔每块处理耗时输入块数

流式首块完成

流式全部完成

整段接收后全部完成

最后一块等待时间：

块	到达	开始	完成	等待

从输入开始计时；块 j 在 j·Δ 到达，完成时间 fⱼ=max(j·Δ,fⱼ₋₁)+c。模型忽略网络、前瞻、批处理、轮次检测和多设备重叠，用于解释队列，不能预测真实模型的端到端延迟。

吞吐必须跟上播放

处理每块所需时间若长期超过到达间隔，等待会逐步增长。真实音频还要看每秒音频合成所需时间、抖动与缓冲。首包很快也可能在后续播放中断。

训练也要尊重可见时间

若训练允许看完整未来音频，部署却要求立即输出，信息条件就变了。检查块边界、前瞻窗口、位置编码和增量状态，评估打断、恢复、噪声和多人交替。

多模态与长输入架构案例延迟与性能测量系统级可靠性

适用范围与一手资料

画布是人工输入示意；patch 预算假设均匀合并。联合训练按公开案例解释；流式时间线是确定性单队列模型，未计网络、前瞻和多设备重叠，不代表模型实测。

公式与机制的原始依据 · 4 项

Visual Instruction Tuning (2023)视觉编码器、连接器与语言模型的指令微调
Scalable Diffusion Models with Transformers (2022)DiT：Transformer 骨干与扩散目标可以组合
I-JEPA (2023)联合嵌入预测架构中的目标区域表示，区别于像素重建
Qwen3-Omni Technical Report (2025-09-22)Thinker/Talker、联合多模态训练、多码本语音与流式生成