基线推理测试
Think While Watching 复现的第一步
— views
|
—
comments
本文是 Think While Watching 复现的第一步：使用 Qwen3-VL-4B-Instruct，输入 64 个采样帧，进行原生 VQA 任务。
这个实验作为后续复现的 pilot experiment，规模较小，目的是跑通流程。
数据#
人工筛选了 StreamingBench 的 Real-Time Visual Understanding_1-50 中的 8 个视频、39 道题，去除了 9 道提示较差的题目，保留了 30 道题。
结果#
- 答对：27/30，准确率 90%。
- 有效选项回答 30；无效回答 0；运行错误 0；未运行 0。
- 每题模型推理平均 0.284 秒，中位数 0.285 秒。
- 每题从已有帧开始的总耗时平均 0.947 秒，累计 28.41 秒。
- PyTorch 峰值已分配显存 8.90 GiB；峰值保留显存 9.10 GiB。
- 上述逐题耗时不含之前的抽帧、模型加载及预热。
配置#
- Qwen3-VL-4B-Instruct，BF16，SDPA，batch size 1．
- 视频开头至提问时间，最多 64 帧均匀采样；每帧最大像素预算约 256×256，保留原始宽高比。
do_sample=False，max_new_tokens=32．- GPU：NVIDIA GeForce RTX 4090．
torch 2.13.0+cu132，transformers 5.19.0．
按视频统计#
| 视频 | 正确 / 题数 |
|---|---|
| sample_1 | 5 / 5 |
| sample_2 | 3 / 3 |
| sample_3 | 4 / 5 |
| sample_4 | 3 / 4 |
| sample_5 | 2 / 2 |
| sample_6 | 4 / 5 |
| sample_7 | 3 / 3 |
| sample_8 | 3 / 3 |
错误题#
下列题目标号的 sample_[i]_a[j]_q[k] 的含义是：
问题集 questions_real.json 中的第 j 个 subset 中的第 k 个题目，该题目引用的视频是 ./videos/sample_[i]_real.mp4（实际则位于 Real-Time Visual Understanding_1-50/sample_[i]/video.mp4）。
sample_3_a1290_q1#
What is the position relationship between the woman in a black dress and the woman in a white outfit?
提问时间 20 秒；标准答案 A；模型回答 C。
- A. They are standing side by side.
- B. They are standing back to back.
- C. The woman in black is in front of the woman in white.
- D. The woman in white is holding the trophy.
sample_4_a611_q0#
What was the score and the position of the teams right now?
提问时间 64 秒；标准答案 C；模型回答 A。
- A. 1-0, the team in blue and red is leading.
- B. 2-0, the team in white is leading.
- C. 2-0, the team in blue and red is leading.
- D. 1-1, the teams are tied.
sample_6_a1423_q0#
What is the player in the black jersey doing just now?
提问时间 293 秒；标准答案 D；模型回答 A。
- A. Raising both arms.
- B. Moving away from the ball.
- C. Running toward the crowd.
- D. Bending down to adjust the football.
文件#
点击下载