多模态流式推理领域调研 #1

• 问题与动机： 传统推理模型需要等待所有 input 输入之后再开始推理，这种串行瓶颈带来了较高延迟，且易削弱模型对较早的输入 token 的注意力。
• 关键机制： 本文使用创新的位置编码（输入和思维链独立从零递增）、因果掩码和 KV Cache（平时输入和推理分开缓存，需要思考时再合并）设计，让模型能够在接收流式输入的同时并行推理，产出思维链，以减少最终输出时的等待时间。
• 实验与证据： 流式结构能用更少的 token，换取接近传统蒸馏模型的准确率，并在一些情况下超过传统模型。
• 我的思考： 流式推理的架构，包括掩码设计、位置编码、训练和推理框架的提出，均具有开创性和奠基性，但也存在一些问题有待后续工作解决。

以下是一些疑惑

Input:     今天天气怎么样？<EOS>今天天气似乎是阴天<EOS>
Reasoning: [此前推理]         今天天气似乎是晴天<EOT>

Input:     今天天气怎么样？<EOS>今天天气似乎是晴天<EOS>
Reasoning: [此前推理]         今天天气似乎是阴天<EOT>

• 问题与动机： 多模态任务的输入量往往较大，尤其是涉及视频理解时，因此尝试让模型边接受输入边输出回答。
• 关键机制： 继承了 StreamingThinker 中的「多轨并行」思路，总体仍然在探讨 Batch(Offline), Interleaved, Streaming 的性能差别，但深入探究了在 Streaming 方法中换用多种位置编码方式的性能差异。
• 实验与证据： 利用 LLM-as-Judge 评价几种方法，最终证明 ST 所采用的方法（GDPE）确实是其中最优秀的，而直觉上顺畅的 OSPE 实际上表现不突出。
• 我的思考： 其实在阅读 ST 时，就不难感觉到它采用的“独立递增位置编码”有一些潜在问题（已在上文列出）。这篇工作则用多种位置编码方案的对照实验回应了这些问题，并将 ST 的方法推广到了 MLLM 领域，并展望了未来有待进一步研究的方向——开发下游任务特定的并行方式，应用到其余多模态领域或具身智能任务中、针对流式并行化的 GPU 优化。

论文中重点比较的三种 PE 方法

1. Overlapped Streaming Position Encoding (OSPE)：输入和输出序列在每轮开始时都对齐位置，各自递增（因此允许重合），完成后取较长序列末尾的下一位作为下一轮的起始位置。
2. Group-Decoupled Position Encoding (GDPE)：和 ST 中的方式相同，输入和输出各自从零递增，允许重合。
3. Gap-Isolated Position Encoding (GIPE)：类似 GDPE，但是给输出序列的起始位置加一个固定的大偏移 $\Delta$，以期能够避免位置编码重合，同时辅助模型区分两个序列。

• 问题与动机： SWW 探索了 VLM 的流式输出，而 TaYS 则按照 ST 中的方式构建了 VLM 的流式推理。
• 贡献： 增量较少，主要在于将 VideoEspresso 数据集中的视频组织成与视觉时间对应的中间推理，并且补齐了推理发生时刻和视频事件时刻的对应验证实验；其余诸如掩码、位置编码、Kv Cache 仍然沿用前两篇。

此外，必须吐槽一下这三篇论文小笔误不少，符号体系也混乱。就比如说这里：

原始论文 P4：

Frame ID Alignment. To ensure strict temporal alignment between visual inputs and reasoning units, we adopt timestamp-based resampling instead of uniform frame sampling. All videos are resampled to 2 FPS. For each target sampling timestamp $\tau'_{t'} = 0.5(t'-1)$ seconds, the selected frame $F_{t'}$ is defined as:

$$F_{t^{\prime}}= \begin{cases} F_{k}, & \text{if } \tau_{t^{\prime}}^{\prime} \in\left[\tau_{k}^{\text {start }}, \tau_{k}^{\text {end }}\right] \& F_{k} \text{ is a keyframe,} \\ \arg \min _{F_{t}}\left|\tau_{t}-0.5\left(t^{\prime}-1\right)\right|, & \text{otherwise.} \end{cases}$$

留意一下可以发现，$F_\Box$ 的语义十分混乱，一会儿表示原视频序列中的第 $\Box$ 帧，一会儿表示采样序列中的第 $\Box$ 帧。相比之下，$\tau$ 和 $\tau'$ 的语义区分就好一些。

如果换我来写，我会用 $F_t$ 表示第 $t$ 个原始帧，$\tilde{F}_n$ 表示第 $n$ 个重采样帧，$\tau_t$ 表示第 $t$ 个原始帧的时间戳，$\tilde{\tau}_n = 0.5(n-1)$ 表示第 $n$ 个重采样帧对应的采样时刻，然后组织成：

其中 $t^*(n) = \arg \min_t \lvert \tau_t - \tilde{\tau}_n \rvert$；关键帧的 window 另行定义。

和 TaYS 的出发点基本相同，提出的方法有部分重合，但也有明显差别。

• 关键机制： 提出了针对 online memory note 的 3 阶段训练流程：
  1. 学习输出段级别的 memory note 并回答单轮提问
  2. 加入多轮对话
  3. 针对性训练模型的长程性能，如长程证据召回、不确定性处理和干扰片段学习
• 实验与证据：
  • 在无 SFT 时，将 baseline 直接应用到多轮 QA interleaved online，效果相较 baseline 的 offline batch 模式显著下降，体现了流式多轮对话的困难性
  • 在经过 3 stages 的 SFT 之后，TWW 在单轮 QA 的准确性上超过了 baseline 的 offline batch 模式，说明 SFT 和 memory note 共同作用提升了模型性能
  • 相较于只经过了前 2 个 stages 的 TWW，经过了 3 个 stages 的 TWW 在单轮 QA 上有性能提升，说明长视频训练有助于性能提升；且观察其注意力分布，发现 stage 3 的 TWW 会分配更多注意力到更早的 token
  • 经过了 3 个 stages 的 TWW 在多轮 QA 任务上，能力与 baseline 的 offline batch 接近，但输出 token 数大幅减少
  • 随机 mask 掉历史 visual input，让模型仅仅依靠 memory note，则性能随 mask 比例升高而先微微下降后显著降低，显著降低后的水平接近于「无 visual 历史仅依靠 memory note 的水平」
  • 降低视频采样粒度，能减少平均 token 消耗，但带来显著性能降低；提高采样粒度，则性能提升不明显但 token 消耗显著增加
• 我的思考： 实验没有排除 SFT 对于模型性能的影响，因此不能将性能优势全部归因于 memory bank 机制

此外，MRoPE 递增 position 的方式也值得注意，它通常有三个维度。对于视频 token，它们代表长宽和时间；对于文本 token，三个维度被赋予相同的值，都代表文本序列中的位置。

当连接视频 token 和文本 token 时，递增的规则是把文本 token 的位置设置为视频 token 三个维度的位置的最大值（而不是和）的后一位。

形式化地，就是

其中 $R_u$ 表示连续的一段同类型 token，$T, H, W$ 分别代表这段视觉 token 所占据的时间、高度、宽度，$L\left[\cdot\right]$ 表示这段文本 token 所占据的长度。$\Delta\left[\cdot\right]$ 表示这段 token 实际的 position 增量。