betway必威知识图谱表示学习和关系推理(2016-2017)(一)知识图谱表示学习及关系推理(2016-2017)(三)

betway必威知识图谱表示学习和关系推理(2016-2017)(一)知识图谱表示学习及关系推理(2016-2017)(三)

作者:整理2016-2017年ACL、EMNLP、SIGIR、IJCAI、AAAI等国际闻名会议被实体关系推理与学识图谱补全的系论文,供自然语言处理研究人员,尤其知识图谱领域的专家参考,如产生错理解的远在请求指出,不胜感激!(如需转载,请联系本人:jtianwen2014,并注明出处)

作者:整理2016-2017年ACL、EMNLP、SIGIR、IJCAI、AAAI等国际闻名会议被实体关系推理与文化图谱补全的有关论文,供自然语言处理研究人口,尤其知识图谱领域的大方参考,如发荒唐理解的远在请求指出,不胜感激!(如需转载,请联系自身:jtianwen2014,并注明出处)

ACL 2016

ISGIR 2016

Unsupervised Person Slot Filling based on Graph Mining

  • 作者:Dian Yu, Heng Ji 
  • 机构:Computer Science Department, Rensselaer Polytechnic
    Institute 

本文的天职为槽填充(Slot
Filling),即由科普的语料库中抽取给定实体(query)的于明确概念之属性(slot
types)的价(slot
fillers)。对于此任务,本文叙述目前主流的点子可以分成两近似:有监控的归类方法,设计分类器识别给定的实体和价值所属之涉项目,分类器的训练往往利用如运动学习、利用距离监督的噪声标注等方式;模式匹配方法,从文本中自行或半机动地抽取和生成词法或句法的模式,以用于关系之抽取,但为涉及所发表的不二法门差异,这种模式匹配方法无法兼而有之较好之召回率。

正文认为,以上两近似措施还无法充分好的应本着新的言语或出现新的涉及项目的景况,即移植性不高;而且,两栽方法还仅仅是注意让实体和候选值之前的平滑表示,并没设想到其中间的大局结构关系,以及讲话中其他的涉及事实的影响。本文重要之算法思想基于以下简单独相:

  1. 于句子的依存图中,触发词结点(trigger)经常是与实业(query)与价值(filler)结点都死相关的,并且是图中之要害节点;
  2. 当实体(query)与价值(filler)结点通过一个关联明确的触发词强涉嫌起来,往往代表在必然的涉及(slot
    type)。

基于上述两个着眼,本文的提出了一样种基于图的槽填充的方式:首先,利用简易的启发式规则,从句子中分辨出候选实体和属于性值;然后,对给定候选实体和属于性值对,利用PageRank图算法和AP(Affinity
Propagation)聚类算法自动识别触发词
;最后,根据识别的触发词对性能类型(slot
type)进行分拣。

生图为使PageRank算法对候选触发词结点打分: 

betway必威 1 

生图也利用AP算法对候选触发词进行聚类(关系触发词可能连一个单词),以选定最终触发词。如下图最终选定“divorced”为最后触发词。 

betway必威 2 

作者:本文主要的思想与创新点在于,以性触发词为切入点进行关联的挖沙,将PageRank算法和AP算法引入中,将扇填充问题易为图及之开问题。候选实体和属于性值的辨别、属性类型的归类就半个组成部分应用了启发式的条条框框及外部的词典资源。但立刻被图挖掘的不二法门,由于下句法依存与PageRank算法来或以测算复杂性上存在问题。

Hierarchical Random Walk Inference in Knowledge Graphs

  • 作者:Qiao Liu, Liuyi Jiang, Minghao Han, Yao Liu, Zhiguang Qin
  • 机构:School of Information and Software Engineering, University
    of Electronic Science and Technology of China

——–论文掠影——–

正文面向的职责是冲知识图谱的干推理。本文通过比考察PRA方法与TransE方法在事关推理上的实践效能并分析由,在PRA基础及提出层次的擅自游走算法HiRi进行实体关系推理。

正文首先叙述了依据知识图谱的干推理的系工作,大体分为三种植艺术:首先是统计关系上道(SRL),如马尔科夫逻辑网络、贝叶斯网络,但眼看仿佛方发需要统筹相应的规则,因此无怪好的扩展性和泛化性;嵌入式表示的法,旨在将实体和关系映射为空间受到的朝量,通过空中被向量的运算来进展推理(如TransE),该法赢得了于好的准确率,但分布式表示的解释性不强,另外,较难以落实并行计算;基于关系路径特征的擅自游走模型,该办法好拓展并行计算,具有较好的履行效率,但准确率与召回率相比嵌入式表示学习的主意有劣势。本文的想法是:是否足以设计算法同时实现自由游走模型的尽效率以及保留嵌入式表示学习方法的准确率?

——–方法介绍——–

正文对TransE方法(嵌入式表示学习之意味)和PRA方法(随机游走模型的表示)进行对照,在一对多、一对一、多对多、多对同样顿时四像样涉达到展开对比分析:

betway必威 3

对比发现:在1:M关系上,PRA远不使TransE;但在M:1涉及达到,两者很接近。有是景,本文的率先个比方认为好以知识图谱看做无为图,以这个来规避1:M关系上之弱势。

除此以外,PRA方法以M:M关系及吗只有达到了TrasnE方法效果的一半,本文认为及时说明了PRA在差不多针对多关系达到抽取的门道特征并没尽地采取基本上对大多涉及发生的簇中的连信息(文中有举例说明这一点)。相比而言,嵌入式学习的计由于拿知识图谱全局信息编码到向量空间里,所以可以充分利用到这种消息。

每当运基本上针对性大多推理关系经常,经常会面因此到干的反向,即于尾实体到头实体的倾向,这种推离的点子可以动用odd-hop随机游走模型来建模,基于这本文的老二个如是:持有拓扑结构的干显然的簇可能会见蕴藏对推理很有帮衬的音讯,那么,基于关系上算法的即兴游活动得提高推理能力。 

本文提出了一致栽层次化推理的架,共分为三独片:全局推理、局部推理、推理结果融合,结构框图如下:

betway必威 4

大局推理是使用PRA算法进行推理,以赢得三元组成立的票房价值\(f(h,r_i,t)\);部分推理时在一定关系之子图(簇)上测算一个3超过的票房价值矩阵,以抱有可能该干之老三首届组概率\(g(h,r_i,t)\),由于是于一个簇上进行的,这是一个片段的演绎。众人拾柴火焰高的长河是下一个线性模型对少有些的几率融合,以获取最终之票房价值。

笔者:本文通过分析PRA与TransE的当不同类别涉及及之异样,提出了简单单如,并在这基础及提出层次化的推理方法HiRi,即于全局和一些分别开展关联推理,最终融合在一起获得推理结果。本文在第二单假设的提出上没有叫闹极多明显的分解,所选的事例和该假设的提出在力促关系达到多少牵强,笔者未理清思路。另外,3超的原由是否来于“关系-关系倒往-关系”路径,即3超越回到原干?对于假而同一,将关联当做无向的,会带哪些不良后果?前人是否发应声点的探赜索隐?

Knowledge Base Completion via Coupled Path Ranking

  • 作者:Quan Wang†, Jing Liu‡, Yuanfei Luo†, Bin Wang†, Chin-Yew
    Lin‡ 
  • 机构†:Institute of Information Engineering, Chinese Academy of
    Sciences 
  • 机构‡:Microsoft Research 

正文的天职也知识库补全,即通过考察知识库中早已是的实,自动推理出丢失的真情。本文叙述这项任务之办法大概分为三栽:

  • Path Ranking
    算法(PRA),通过连续实体的既起途径来预测实体间的神秘关系;
  • 据悉表示学习之范,将实体和涉映射为空间被之于量,通过空中中朝量的运算来开展推导(如TransE);
  • 概率图模型,如马尔科夫逻辑网络及其衍生物。

由PRA方法有较好之解释性,并且不需分外的逻辑规则,本文主要采用PRA方法对该改良。在使PRA进行关联推理时,以往的方都是于演绎等,利用PRA为每个关系独立建模,也即是也每个关系上一个单身的分类器。

本文的初衷是:倘若采用PRA对一些关乎国有建模是否会见得更好的功力,尤其是当这些关系互动紧密联系的时,比如,“出生”和“生长为”这点儿只关系太有或同享有一些关系路径:“国籍->首都”等。很多切磋表明这种大抵任务上相比单任务上而言,往往有双重好之作用。本文提出CPRA的措施,该法所要解决少数独问题:(1)哪些关系需组合在一起学习?(2)如何组合在一起学习?

(1)哪些关系要组合在一起学习?本文提出了同样栽因公共路径的一般度度量方法,并当这基础及以关系聚成不同之组,同组的关系共同学习。公共路径的形似度具体值依据两只涉(或簇)的门路交集数量占比较。

(2)如何组合在一起学习?依循多任务上的准,对于同训练之分类器使用简单有参数,即共享参数和民用参数。共享参数可以反映相似关系中的得共性,私有参数用于描述不同关系间的风味。这片近乎参数在训练过程中是同步学习之。

笔者:PRA的不二法门的施用或存在局限,比如对开放域知识图谱,如Reverb等,其涉及项目多样还无事先定义,则无从对每个类别训练分类器;而且这种每个类别训练分类器的点子吃其实较充分,更非便民让定实体对的涉嫌推理。是否可合吗一个分类器,或者不是分类器,而是生成器,生成于定实体对的也许干,这样就算利用为干项目体系未知之开放域知识图谱。

IJCAI 2016

Compositional Learning of Embeddings for Relation Paths in Knowledge Bases and Text

  • 作者:Kristina Toutanova, Xi Victoria Lin∗, Wen-tau Yih, Hoifung
    Poon, Chris Quirk
  • 机构:Microsoft Research
  • 机构∗:University of Washington

正文的任务也文化图谱补全,推理预测实体间暧昧的关联。本文叙述,当前之有的师用关联路径信息融入到知识库嵌入式表示中,取得了很肯定的结果。知识库嵌入式表示,指的凡以知识库中实体和关联映射到低维稠密之半空中受到,知识的推理转化为实体和关系所涉的向量或矩阵之间的演算。这种嵌入式的表示,操作费较小,推理的频率比高。为了更升级基于嵌入式表示的涉及推理,一些专家用涉及路径信息融入其中。

本文发现,目前的将关乎路径融入知识库的嵌入式表示法在如下问题:首先,当干之路子总类增多时,时间支出比较充分,严重影响推理的效率;另外,目前之计才考虑了路信息,并未考虑结点的音信,即使是平路线,包含不同结点也存有不同的信。本文提出了一致栽动态规划的点子,可以高速地将关乎路径融入到知识库的嵌入式表示,并且同时对路线上之涉项目及结点进行表示。

正文为基因调控网络为条例,网络的节点是基因,边也有限单至关重要的干:正调控、负调控,为了一道代表文本信息,将基因共现的文本语句的依存关系嵌入至网络中,所产图所显示,红色边也原本网络的调控提到,灰色边也文本依存信息:

betway必威 5 

主干的学问图谱嵌入式表示学习之方是,首先学实体和干的向量(或矩阵)表示,然后同用上到的参数\(\theta\)和函数\(f(s,r,t|\theta)\)为可能的老三冠组开展打分。其中,双线性模型(BILINEAR)用矩阵表征关系,向量表征实体,打分函数\(f\)定义为:\(f(s,r,t|\theta)=x_s^{\rm
T}W_rx_t\)。

另外,为了削减参数,本文介绍了其余一样种植模型双线性-对角模型,即将关系矩阵\(W\)替换为对角矩阵。

拿关系路径引入嵌入式表示一般发生零星种植方式:(1)利用关系路径生成辅助的老三第一组用于训练(通过随机游走获得路,端点实体的涉所以干路径代替);(2)将关系路径作为特色用于打分,打分函数替换为\(f(s,r,t|\theta,\prod_{s,t})\),\(\prod_{s,t}\)为路径上关系嵌入式表示的加权求和。对于双线性模型,关系路径\(\pi\)的嵌入式表示一般也:\(\Phi_{\pi}=W_{r_1}…W_{r_n}\)。

正文更偏于被次种植艺术,因为其对路线上之关联进展剪枝。本文对\(f(s,r,t|\theta,\prod_{s,t})\)做了详细规划与定义:用\(F(s,t)\)代表\(\prod_{s,t}\),用\(P(t|s,\pi)\)代表头实体经过路径到达尾实体的概率,令:\(F(s,t)=\sum_{\pi}w_{|\pi|}P(t|s,\pi)\Phi(\pi)\)。最终\(f(s,r,t|\theta,\prod_{s,t})\)定义为:

\[f(s,r,t)=x^{\rm
T}W_rx_t+vec(F(s,t))^{\rm T}vec(W_r)\]

其中\(F(s,t)\)的计量时吃比较充分,本文通过动用动态规划之方法ALL-PATH高效学习及计量该打分函数,使得可以很快地拿干路径融入到知识库的嵌入式表示,并且同时针对路线上之涉项目和结点进行表示。本文用参数\(w_{e_i}\)用于表示对由此实体\(e_i\)路径的熏陶,对于双线性模型:\(\Phi_{\pi}=W_{r_1}tanh(w_{e_1})…W_{r_n}tanh(w_{e_n})\)。用\(F_l(s,t)\)表示实体\(s\)和\(t\)之间长度也\(l\)的路线的加权和,则有:

\[F(s,t)=\sum_{l=1…L}w_lF_l{s,t}\]

其中,\(F_l{s,t}=\sum_{\pi \in
P_l(s,t)}P(t|s,\pi)\Phi_{\pi}\),\(P_l(s,t)\)表示实体\(s\)和\(t\)之间长度为\(l\)的路径。

动态规划算法如下图所示:

betway必威 6 

作者:本文针对往融合路径信息之嵌入式表示方法的流年复杂度进行优化,并在节点信息,旨在高效运算并融入更充分的音。本文的方法ALL-PATH在时跟法力达到优化之前的不二法门。本文的不二法门的实现基于的凡双线性模型,这里当只是示例,完全好拿双线性替换为其它模型,这种关联路径集成的思索可以使用被多已部分嵌入式表示学习道,所以本文的极其酷亮点应该在于动态规划之提出,用以高效之测算。

From One Point to A Manifold: Knowledge Graph Embedding For Precise Link Prediction

  • 作者:Han Xiao, Minlie Huang, Xiaoyan Zhu
  • 机构:Dept. of Computer Science and Technology, Tsinghua
    University

——–论文掠影——–

正文提出:脚下已部分文化表示学习道无法兑现规范链接预测,本文认为生有限独由造成了及时同面貌之起:ill-posed
algebraic problem
adopting an overstrict geometric form

里面,ill-posed algebraic
problem指的是:一个方程组中之方程式个数远超变量个数。本文为翻译模型呢表示叙述这无异于问题。翻译的目的是,对知识库的老三首组的嵌入式表示满足\(\boldsymbol {\rm
{h_r+r=t_r}}\),如果三冠组的数目也\(T\),嵌入式表示的维度为\(d\),那么一共来\(T*d\)个方程式,而所要上学之变量一共来\((E+R)*d\),其中\(E,R\)表示实体和干项目的数据。由于三元组的数远甚受实体和关系项目的数额,那么这种翻译模型有严重的ill-posed
algebraic problem问题。

对于一个ill-posed
algebraic系统,所求得的解经常是无标准且未平静的
,这也正是以往方无法进展精确链接预测的由有。为之,本文提出一个根据流形(manifold)的基准,用\(\mathcal{M}(\boldsymbol {\rm
{h,r,t}})=D_r^2\)用来代表\(\boldsymbol {\rm
{h_r+r=t_r}}\),其中\(\mathcal{M}\)是流形函数。

另外,对于TransE的方式,对于给定的头实体和涉及,应用为\(\boldsymbol {\rm
{h+r=t}}\),所取得的尾实体几乎是一个沾,这对于多针对性多干而言肯定是匪正确的,这是平等种overstrict
geometric
form。前人之片段术要TransH、TransR将实体和干映射到有的及关系有关的子空间中来化解这无异于问题,然而,这种题材在子空间被依然有。这种过分严格的花样还是导致引入大量底噪声元素,在链接预测的进程中无法准确预测。

如下图所示,越临近圆心组成对三状元组的可能性越来越老,蓝色为对的答案,红色为噪声,其中TransE的方式无法充分好地分别,而本文提出的ManifoldE可以充分好之区分噪声数据。

betway必威 7

——–方法介绍——–

本文提出用\(\mathcal{M}(\boldsymbol {\rm
{h,r,t}})=D_r^2\)用来取代\(\boldsymbol {\rm
{h_r+r=t_r}}\),其中\(\mathcal{M}\)是流形函数。打分函数定义也:

\[f_r(h,t)=||\mathcal{M}(h,r,t)-D_r^2||^2\]

对于\(\mathcal{M}\)的定义,其中同样种植为球体也流形。即对于被定头实体和干项目,尾实体在向量空间受到遍布于坐\(\boldsymbol {\rm
{h+r}}\)为球心的球面上,此时:

\[\mathcal{M}(h,r,t)=||\boldsymbol {\rm
{h+r-t}}||_2^2\]

此地的向量可以使Reproducing Kernel Hilbert Space
(RKHS)映射到Hilbert空间,以重新快捷地特色流形。

betway必威 8

设想到球体不易交,而立恐怕导致有些实体的损失,本文叙述可以坐超平面呢流形。即对于让定头实体和干项目,尾实体位于坐\((\boldsymbol {\rm {h+r_{head}}})^{\rm
{T}}\)为主旋律、偏移量与\(D_r^2\)相关的超平面上。在上空被,只要简单单法向量不平行,这点儿只超平面就会发出相交。流形函数定义如下:

\[\mathcal{M}(h,r,t)=(\boldsymbol {\rm
{h+r_{head}}})^{\rm {T}}(\boldsymbol {\rm {t+r_{tail}}})\]

正文叙述为了多被定头实体和涉及推理出准确的尾实体数量,对向量绝对值化:

\[\mathcal{M}(h,r,t)=|\boldsymbol {\rm
{h+r_{head}}}|^{\rm {T}}|\boldsymbol {\rm {t+r_{tail}}}|\]

其中,\(|\boldsymbol {\rm
{w}}|=(|w_1|,|w_2|,|w_3|,…,|w_n|)\)。

对此过去方存在的ill-posed问题,本文的方对那比较好地解决。以球形为条例,本文对于每个三元组只对许一个等式:\(\sum_{i=1}^{d}(h_i+r_i-t_i)^2=D_r^2\),所以一旦满足\(d\geq \frac {\#Equation}{E+R}=\frac
{T}{E+R}\)。要满足当下同准只有需要方便多向量的维度,从而较好的实现准预测。

训练的进程是增多正例的分,而减弱多少负例的分数,目标函数如下:

\[\mathcal{L}=\sum_{(h,r,t)\in
\Delta}\sum_{(h’,r’,t’)\in \Delta
‘}[f_r'(h’,t’)-f_r(h,t)+\gamma]_+\]

试结果显示该方式较好的贯彻了准确链接预测(hit@1):

betway必威 9

作者:本文提出前的表示学习无法比较好的贯彻准链接预测,并提出造成拖欠问题之少碰原因:ill-posed
algebraic problem
adopting an overstrict geometric
form
,并对准当时简单独点问题切中要害提出因流形的代表学习方式,实验结果显示该方法比较好的兑现了准链接预测。

TransG : A Generative Model for Knowledge Graph Embedding

  • 作者:Han Xiao, Minlie Huang, Xiaoyan Zhu
  • 机构:Dept. of Computer Science and Technology, Tsinghua
    University

正文的职责吗知识图谱表示学习,旨在用文化图谱映射到低维稠密的向量空间里。与往研究工作不同,本文将眼光聚焦为“多语义关系”,即与同名互动的涉及或有不同之语义含义,如对涉“HasPart”,对于实体“桌子”和“桌腿”有这种涉及,对于“英国”和“伦敦”也同等有所如此的涉及,但双方所发表的含义却不尽相同。

连发于感性层面达到,本文对TransE的知识图谱向量表示进行可视化(PCA降维):抽取四种植不同关系,将具有给定关系的实体对向量相减(据TransE思想,可以得到关系的向量),将结果向量展示在二维空间里。理想状态下,对于每个关系该只是跟一个簇应和,但实在的结果是每个关系持续一个蔸,而是基本上个明确分开的簇。这吗自另外一个角度验证了关联的多语义性质。

对这无异于问题,本文提出TransG模型,利用贝叶斯非参数无限混合嵌入式表示模型来很成涉的多语义表示。TransG可以自行发现涉嫌之多语义簇,并且用关乎之混语义对实体对进展翻译操作,以拓展关联推理。

正文利用了个别独重要的型和算法,分别是贝叶斯非参数无限混合嵌入式表示模型和中餐馆过程算法。实际的实业和涉及嵌入式表示生成过程如下:

betway必威 10 

经该过程会沾初始化的实体和关系向量,三第一组的从分函数为:

\[\sum_{m=1}^{M_r}\pi_{r,m}e^{-\frac{||u_h+u_{r,m}-u_t||_2^2}{\sigma_h^2+\sigma_t^2}}\]

差于往年底办法,本文对于涉及之勾勒更加细化,对于实体对,可以适度获得多语义关系之明朗语义:

\[m_{(h,r,t)}^*=argmax_{m=1…M_r}(\pi_{r,m}e^{-\frac{||u_h+u_{r,m}-u_t||_2^2}{\sigma_h^2+\sigma_t^2}})\]
\[h+u_{r,m_{(h,r,t)}^*}\approx
t\]

学习过程是凡的正例的分不断增高,负例的分数不断减少,最终得到实体和涉及的意味。

笔者:本文的切入点是多语义关系在于知识库中,而之前的型没有观测并缓解这同样题目。本文使用非参数贝叶斯模型,借助CRP算法用于对涉多语义的鉴别与变化。本文主要的奉献在于提出了多语义关系之问题,并指CRP解决当下同题材。

Text-enhanced Representation Learning for Knowledge Graph

  • 作者:Zhigang Wang and Juanzi Li
  • 机构:Tsinghua University

本文面向知识图谱的象征学习任务,提出采用外部文本中的光景问信帮助知识图谱的表示学习。

本文叙述:TransE、TransH、TransR等方法无法充分好的解决不同等对准同样关联,而且受限于知识图谱的多寡稀疏问题,基于这个本文提出下外部文本中的内外问信帮助知识图谱的表示学习。类似距离监督,本文首先以实体回标到文本语料中;以此博得到实体词以及任何关键单词的共现网络,该网络可以当做联系知识图谱和公事信息的枢纽;基于此网,定义实体和关系的文本上下文,并以那个融入到文化图谱中;最后采取翻译模型对实体和涉及的象征进行学习。

生图是一个简便的图示:

betway必威 11

Representation Learning of Knowledge Graphs with Hierarchical Types

  • 作者:Ruobing Xie, Zhiyuan Liu, Maosong Sun
  • 机构:Tsinghua University

本文面向知识图谱的象征学习任务,提出融入实体类型信息帮助知识图谱的意味学习。

本文叙述:目前的多数办法专注于用知识图谱中三元组结构的象征学习,而忽略了融入实体类型的信。对于实体而言,对于不同之档次含义应该拥有不同的象征。本文自Freebase中获取实体的类型信息,并拿该层次化表示,并计划了简单栽编码方式,对于不同之涉通过参数调整取得相应的实体表示。

Knowledge Representation Learning with Entities, Attributes and Relations

  • 作者:Yankai Lin, Zhiyuan Liu, Maosong Sun
  • 机构:Tsinghua University

本文面向知识图谱的意味学习任务,提出应用实体、属性、关系三独元素来进行表示学习。

正文提出针对性性能和涉及加以区别,并于表示学习之进程中分别对待,本文首先提出属性与关系之界别,本文叙述:属性的价值一般是虚幻的概念,如性别和事等;而且通过统计发现,属性往往是大抵对同一之,而且对特定的性,其取值大多来自一个不怎么集合,如性别。对关系及性能采用不同之约措施开展单独表示学习,同时提出属性之间的重复胜似之律关系。本文想法时,很值得借鉴。

betway必威 12

admin

网站地图xml地图