一句话定义：视频时序建模（video temporal modeling）指的是让模型显式地处理帧与帧之间的顺序、运动和因果关系，而不是把每一帧当成互不相干的独立图片。
为什么单帧不够：视频是一串按时间排列的图像。逐帧看，模型只能说出"画面里有个人、有辆车"；连起来看，它才能说出"人走向车、拉开车门、坐了进去"。同一组画面，顺序一颠倒，"开门"就变成"关门"，"倒水"变成水从杯里飞回壶中——像素没变，意思全变了。
打个比方：视频像一本漫画。只看每一格，你知道每格画了什么；把格子按顺序读完，才知道故事。也像听音乐：单个音符不构成旋律，旋律藏在音符的先后和长短里。时序建模就是给模型加一条"记忆"，让它把上一秒的判断带到下一秒的推理中。
常见做法（都属通用思路）：把连续多帧堆叠后一起送进网络；用 3D 卷积（3D convolution）在时间维度上也滑动，同时捕捉外观和动作；用循环网络（RNN／LSTM）逐帧输入，并维护一个内部状态当记忆；用注意力机制（attention）让模型自己决定该重点看哪几帧；还有双流（two-stream）思路，一路看静态外观、一路看光流（optical flow）这类运动线索，再做融合。
和相邻概念的区别：
| 概念 | 关注点 | 典型问题 |
|---|---|---|
| 图像识别 | 单帧里有什么 | 这是猫还是狗 |
| 光流 | 相邻帧的像素级位移 | 这个点往哪移动了 |
| 时序建模 | 帧与帧的顺序、运动、因果 | 这是在开门还是关门 |
| 视频理解 | 任务层面的统称 | 这段视频讲了什么 |
光流是一种底层的运动描述，可以当时序建模的输入，也可以完全不用；时序建模是带任务目标、更高层的建模。它是视频理解的关键手段之一，但不等于视频理解本身。
对从业者的意义：要特别当心"单帧看着都对、顺序全错"这类失败。只做逐帧分类再对结果取平均的模型，在开门／关门、上车／下车这类任务上往往很差，因为两类画面的单帧几乎一模一样。另一个常见坑是数据切分：同一段视频的相邻帧高度相似，如果它们被分到训练集和测试集两边，指标会虚高，这是典型的数据泄漏。
对普通人的意义：短视频推荐、自动字幕、体育回放的动作标注、监控中的异常行为告警、辅助驾驶判断行人是否要过马路，背后都要回答"前后发生了什么、接下来可能发生什么"。这也解释了为什么有些产品描述视频时会说错顺序——它可能只是在逐帧看图，而没有真正建模时间。
具体工具与模型的能力边界，以官方页面为准。