论文标题：（视频问答的实例-序列推理）

期刊：

作者：Rui LIU, Yahong HAN

发表时间：28 Jan 2022

DOI：

微信链接：

导 读

视频问答（Video QA）涉及对视频内容和问题语言的透彻理解，以及文本语义对视频视觉内容的检索。因此，为了更准确地回答问题，不仅要将语义实体与视频帧中的某个视觉实例相关联，而且问题中的动作或事件应该定位到相应的时间段。事实证明，这是一项更具挑战性的任务，需要能够根据视频帧中实例之间的时序相关性进行推理。在本文中，我们提出了一个实例-序列推理网络，用于具有实例检索和时间定位的视频问答。在模型中，视觉实例和文本表示首先嵌入到图节点中，这有利于模态内和模态间的集成。然后，在具有大感受野的图结构序列上提出了图因果卷积 ，以捕获更多的因果关联，这对于视觉基础和实例-序列推理至关重要。最后，我们在包含实例检索和时间定位标签的 TVQA+ 、三个其他视频 QA 数据集和三个多模态语言处理数据集上评估模型。通过大量实验证明了所提出方法的有效性和泛化性。具体来说，我们的方法在这些基准测试中优于最好的方法。

文章精要

摘要

Video question answering (Video QA) involves a thorough understanding of video content and question language, as well as the grounding of the textual semantic to the visual content of videos. Thus, to answer the questions more accurately, not only the semantic entity should be associated with certain visual instance in video frames, but also the action or event in the question should be localized to a corresponding temporal slot. It turns out to be a more challenging task that requires the ability of conducting reasoning with correlations between instances along temporal frames. In this paper, we propose an instance-sequence reasoning network for video question answering with instance grounding and temporal localization. In our model, both visual instances and textual representations are firstly embedded into graph nodes, which benefits the integration of intra- and inter-modality. Then, we propose graph causal convolution (GCC) on graph-structured sequence with a large receptive field to capture more causal connections, which is vital for visual grounding and instance-sequence reasoning. Finally, we evaluate our model on TVQA+ dataset, which contains the groundtruth of instance grounding and temporal localization, three other Video QA datasets and three multimodal language processing datasets. Extensive experiments demonstrate the effectiveness and generalization of the proposed method. Specifically, our method outperforms the state-of-the-art methods on these benchmarks.

相关内容推荐：

Frontiers of Computer Science

Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办、SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，双月刊，全球发行。主要刊登计算机app领域具有创新性的综述论文、研究论文等。本刊主编为周志华教授，共同主编为熊璋教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和明升中国app引文数据库（CSCD）核心库等收录，为 CCF 推荐期刊；两次入选“明升中国科技期刊国际影响力提升计划”；入选“第4届明升中国国际化精品科技期刊”；入选“明升中国科技期刊卓越行动计划项目”。

《前沿》系列英文学术期刊

由教育部主管、高等教育出版社主办的《前沿》（Frontiers）系列英文学术期刊，于2006年正式创刊，以网络版和印刷版向全球发行。系列期刊包括基础app、明升m88app、工程技术和人文社会app四个主题，是我国覆盖学科最广泛的英文学术期刊群，其中13种被SCI收录，其他也被A&HCI、Ei、MEDLINE或相应学科国际权威检索系统收录，具有一定的国际学术影响力。系列期刊采用在线优先出版方式，保证文章以最快速度发表。

明升中国学术前沿期刊网