亲宝软件园·资讯

展开

知识驱动的视觉理解论文一览

何莫道 人气:0

 

  • Visual Relationship Detection with Language Priors 2016 

visual relationship detection领域的开山之作,检测和定位图上的多对object,然后分别对每一对object的交互关系(predicate)进行分类。

  • Scene Graph Generation by Iterative Message Passing 2017

利用场景图对对象和关系进行建模。

  • Visual Genome :Connecting Language and Vision Using Crowdsourced Dense Image Annotations 2017

 

PaStaNet:Toward Human Activity Knowledge Engine 2020

利用part级别的动作状态(part states)进行行为理解,

  • A Hierarchical Approach for Generating Descriptive Image Paragraphs 2017

这篇文章提出了一种结构化模型去生成图像段落描述。文章首先利用区域生成网络 (RegionProposal Network)进行区域检测,并将检测到的区域投影到卷积特征图中,通过插值并通过全连接层和最大池化生成一个区域特征向量,该向量作为句子RNN和词RNN两层层次循环网络(Hierarchical Recurrent Networks)的输入并生成对图像的描述段落。

  • Deep Reasoning with Knowledge Graph for Social Relationship Understanding 2018
利用了一个图推理模型(Graph Reasoning Model,GRM),由该模型结合门控图神经网络(Gated Graph Neural Network,GGNN)对社会关系进行处理。对社会关系的推理可以作为其他多种任务的辅助,如多目标追踪,人类轨迹预测,群体行为分析。GRM首先根据图上人物区域的特征来初始化关系节点,然后用预先训练的Faster-RCNN探测器搜索图像中的语义对象,并提取其特征,初始化相应的对象节点;之后利用门控图神经网络GGNN负责计算节点特征,并结合图注意力机制帮助理解社会关系。
  • Detecting and Recognizing Human-Object Interactions 2018

检测人和物体的交互(interaction)定位和人交互的物体的位置并通过人和物来预测后面的动作

  • Object Detection Meets Knowledge Graphs 2017

引入外部知识库来进行辅助目标检测。

  • The More You Know: Using Knowledge Graphs for Image Classification  2016

应用知识图谱形式的结构化先验知识到图像分类中,表明利用结构化先验知识可以提高图像分类的性能。

  • Something-Else: Compositional Action Recognition With Spatial-Temporal Interaction Networks 2020

用于识别训练集没有的,对操作物体进行替换的动作

  • I Know the Relationships: Zero-Shot Action Recognition via Two-Stream Graph Convolutional Networks and Knowledge Graphs 2019

 

Action Genome: Spatio-temporal Scene Graphs 2020

 

  • Rethinking Knowledge Graph Propagation for Zero-Shot Learning 2019
 
  • Videos as space-time region graphs.
  • Learning to Compare: Relation Network for Few-Shot Learning 2018

 

 

 

加载全部内容

相关教程
猜你喜欢
用户评论