多模态流式推理领域调研 #2

这个图画得神了

• 问题与动机： 离线模型面对长视频回答延迟高、容易遗忘早期信息、难以支持多轮对话；一些在线模型依赖时空下采样提高计算速度，但是这种方法容易丢失关键信息造成回答不准确，且处理速度仍难以达到实时。
• 主要贡献：
  • 提出了 StreamBench 数据集，它包含的视频类别、时长更加多样化，且针对交互性流式任务进行了半自动化筛选和标注
  • 提出了 StreamChat，在 没有训练 的情况下，为模型附加了树形分层记忆系统，包括短期记忆、长期记忆和对话记忆；此外，还加入了并行调度设计，可以让提取视频特征、更新记忆、回答问题这三个任务并行

• 实验与证据：
  • 在线性能：在 StreamBench 上，Slow 版本准确率达到 64.7%，比此前最佳在线方法 Video-online 提高 8.3 个百分点；Fast 版本达到 32 FPS，准确率仍为 61.7%。三个版本的回答启动延迟约为 0.85–0.90 秒，结果基于双 A800 GPU 部署。
  • 离线性能：实验证明 memory 机制同样能提升离线任务性能，StreamChat 在 ActivityNet、NExT-QA、MSVD、MSRVTT 四个基准上，平均准确率为 50.6%，比基础模型 LongVA 提高 2.5 个百分点。
  • 消融实验：Base 版本加入完整记忆系统后，平均准确率从 60.3% 提升至 63.8%．
• 我的思考：
  • 本文做到了 20~30 fps 的实时推理性能，强交互性任务有启发性。
  • 和先前的 SWW、TaYS 的思路不同：他们都是从模型训练出发，在注意力机制、位置编码等基础层面创新，旨在实现流式的输入输出；而这一篇和 TWW 有些像，都是为了提高回答准确性和实时性而引入了 memory 机制，但这一篇的改动主要在于外部 memory 系统的调度设计，而没有设计训练或者微调

本文的长期记忆使用了树形结构，将历史 visual tokens 和 captions 通过 k-means 聚类不断聚合形成一棵树[§3.1.1]．

以下都是参照 StreamChat 而言的。

• 增量设计：
  • 从固定分块的记忆树变为了按事件划分的记忆森林。
  • 显式规定长期记忆 token 上限，并使用内容相似度、历史合并次数、时间距离这三个评标选取要合并的树节点，使用 ToMe 合并。
  • 短期记忆改进为当前帧高保真、历史帧逐渐压缩的细粒度历史窗口。
  • 回答问题时，将长期记忆森林的全部树根节点及短期窗口的视觉特征一并输入 LLM．
• 实验与证据： 提出了新的数据集 OnlineIT，专注于流式视频理解任务微调；提出了新评标 ODV-Bench，是一个自动驾驶视频专项基准；StreamForest 团队称他们超越了 online 的 SOTA 模型，并对比 offline 模型有竞争力。

在详细阅读 repo 的 llava/model/multimodal_projector 中的 memory_manager.py 和 projector_FSTW_PEMF.py 之后，我将 visual tokens 的合并逻辑梳理如下：

这一篇早于 StreamChat 和 StreamForest.

• 问题与动机： 过往的工作（如 VideoLLM-Online）已经可以流式输入和输出了，但它仍受串行限制，无法 并行 地做到
  • 连续、长时间、流式的视觉输入
  • 即时的决策与交互
• 关键机制： 使用三个 async 的子模型—— ①感知记忆模型 ②决策模型 ③回答模型（其中①和②共用权重），分别 ①不断接受视觉输入并压缩为记忆 ②判断何时触发回答 ③在决策模型发出信号后生成回答。
• 实验与证据： Dispider 比已有流式模型强很多，同时保留了不错的离线视频理解能力，但 Proactive Response 能力仍低于部分离线模型并远低于人类。
• 我的思考：
  • 与 TaYS 等等工作不同的是，此工作主要假设流式问答任务中的问题先于视觉信息输入
  • 这篇工作主要强调了模型根据问题和已有视觉信息，自主判断何时输出的能力（Proactive Response）
• 一些问题：
  • 如果决策模型发出信号的频率超过回答模型能够输出的速度，仍可能阻塞。
  • 三个子模型所接触的信息不完全相同，因此即使三个模块各自训练好了，也不一定达到最佳的相互配合。比如，决策模型看不到回答模型输出过的答案，因此可能对回答中已经涵盖过的内容重复触发回答，或者对回答中还未涉及的补充信息不触发回答。这解释了作者团队为何要给回答模型加入 <SILENT> 特殊 token——以便回答模型跳过不必要的回答。

采用了 RL 让模型学会自主判断如何提取、以什么分辨率提取视觉信息。

和 GPT 6 Astra 处理视频的方式很像（使用 ffmpeg 提取帧并查看图片）。

和我先前的长视频理解 idea 不谋而合 只能说做 idea 需要广泛调研，如果发现了待开拓的 frontier，就得尽快做出来。

• 问题与动机：固定抽帧难以同时兼顾长视频的时间覆盖与局部细节，推理发现证据不足时也无法回看。FrameMind 教会模型在推理时主动回看，学习何时、去哪里补充证据。

• 关键机制：

  • 新的思维链设计（FiCOT）交替执行文字推理与工具调用，按时间戳截取帧或片段
  • DRFS 可变帧率分辨率采样
  • DRFS-GRPO 通过答案正确性、格式及工具使用等奖励优化策略，从而无需逐帧标注就可训练模型高效地查找证据

• 我的思考：关键创新在于，允许模型在推理时主动寻求证据获取，而不是先前工作中的被动接受视觉输入。