0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

关于论辩图谱的互动论点对识别

深度学习自然语言处理 来源:复旦DISC 作者:复旦DISC 2021-06-15 16:28 次阅读

引言

本文介绍了复旦大学数据智能与社会计算实验室(Fudan DISC)在Findings of ACL 2021上录用的一篇关于论辩挖掘的工作:Leveraging Argumentation Knowledge Graph for Interactive Argument Pair Identification,通过构建论辩领域的知识图谱并融合其中的相关知识,提升互动论点对识别任务的准确性。

互动论点对识别(Interactive Argument Pair Interaction)是对话式论辩挖掘研究领域中的一个核心任务。现有对于互动论点对识别的研究将其视为句子匹配问题,并且在很大程度上依赖于文本信息来计算文本相似性。然而,论点之间的互动通常会涉及论题的背景知识,并需要知识概念之间的推理,这超出了文本相似度层面的信息。

在本文中,我们提出利用外部知识来增强交互式论点对的识别。我们从在线william hill官网 中不同主题的讨论语料中构建论辩知识图谱。在此基础上,被引用论点和回复论点之间的交互便可被表示为知识图谱中的推理路径。在实际中,我们利用图卷积网络 (GCN) 来学习知识图中的概念实体表示,并使用基于 Transformer 的编码器来学习推理路径的表示。

最后,采用信息对齐网络来捕获概念信息(实体级和路径级)和文本信息的交互。实验结果表明,我们的模型在基准数据集中达到了最先进的性能。进一步的实验分析证明了我们模型通过知识图谱中的概念路径来执行知识推理的合理性及有效性。

研究背景

论辩挖掘旨在分析论辩性文本中的语义和逻辑结构。目前论辩挖掘的研究方向大致可以分为单篇式论辩(Monological Argumentation)以及对话式论辩(Dialogical Argumentation)。

二者的主要区别在于,单篇式论辩的研究对象通常为单篇式的论辩场景,如学生议论文、公开演讲等一整篇论辩性文章或一段论辩文本,相关的任务包括论辩部件预测、说服力评估和论辩总结等;而对话式论辩的研究对象通常为辩论赛或者在线william hill官网 场景下,由持有不同观点的多方参与者之间的互动所产生的文本,相关任务包含互动论点对识别、抽取等。

现有对于互动论点对识别的研究将其视为句子匹配问题,并且在很大程度上依赖于文本信息来计算文本相似性。虽然相关深度学习模型取得了一定的判别效果,但对于互动论点对中真正具有互动关系的概念实体的利用程度仍有不足,也就是说该任务需要超出文本相似度的知识信息。

两条现有模型无法正确识别的互动论点对示例。在第一个例子中,两句论点之间的联系由“president”和“Obama”以及“John Boehner”和“speaker of the house”所构建,这属于自然语言中常见的常识类知识;而在第二个例子中,两句论点之间的联系则需要通过“global warming”导致“sea level”提高来体现,这段推理过程中所出现的关系为论辩领域中所特有的因果联系。

因此,我们希望在互动论点对识别的任务中融入上述两类知识,来提升该任务上模型的效果,并提供更直接的可解释性。具体做法上,本文构建了论辩领域的知识图谱,并以图谱中推理路径的方式来融合相关知识。在模型层面,本文通过使用图卷积网络(GCN)编码相关实体,并使用Transformer编码器编码相关推理路径,再将这两个级别的概念编码与文本编码进行信息对齐,从而完成对于互动论点对识别任务的增强。

图谱构建

原始图谱构建

本文在Tan等人所构建的CMV文本数据集的基础上,采用OpenIE来抽取出其中的(实体、关系、实体)三元组,将所有的实体作为节点,所有的关系作为边,得到了原始的知识图谱。该阶段中加入的知识对应于研究背景中提到的第二类知识——因果联系。该阶段的图谱统计信息如下图所示。

概念对齐

为了进一步提升我们所构建的图谱质量,同时也为了加入研究背景中所提到的第一类常识知识,本文在得到上述原始图谱后,进行了概念对齐操作。对于两个知识图谱中的实体,如果它们在Wiikipedia中的搜索结果相同,则将它们之间加入”等价“的实体关系。概念对齐后的知识图谱相关统计信息如下图所示。结果显示概念对齐后,图谱的连通性明显增加,稀疏性的问题得到了一定程度上的解决。

方法描述

本文提出了将论辩图谱知识融入互动论点对识别任务的模型框架。该框架主要包含三个模块,文本编码器、概念编码器以及信息对齐网络。

论点对文本信息建模

给定一对候选引用-回复论点对,我们将其拼接后通入BERT句子对分类模型,取出其中的[CLS]符号的表示即可得到论点对的文本层面表示。

论点对概念信息建模

给定一对候选引用-回复论点对的上下文,我们抽取出其中所包含的概念实体,接下来从实体和路径两个层面进行概念信息建模。

2.1 实体级别

我们采用平均池化的BERT词向量得到每个节点的初始化表示,接着使用二层GCN网络来对每个节点信息进行汇总融合,从而得到了每个提及的实体的概念表示。

2.2 路径级别

在本文中,推理路径定义为论辩双方所提到的概念实体对之间在知识图谱中经过遍历而顺次连接得到的序列。在得到上述实体的表示后,我们从图谱中枚举出双方所有的概念实体对之间的最短路径,再经过Transformer编码器来对其进行编码表示,进而得到了每条推理路径的表示

信息对齐网络

得到基于每个实体以及每条路径的概念表示之后,我们构建了信息对齐网络来将不同的实体以及路径汇总得到概念层面的总表示。具体来说,我们利用文本信息表示来对所有的推理路径进行注意力池化汇总得到推理路径的总表示,在利用推理路径总表示来对所有的实体进行注意力池化汇总得到概念实体的总表示。

在得到以上文本和概念层面的总表示后,我们将这些维度的特征拼接并通过一个线性层,来预测当前候选论点对成为互动论点对的匹配分数,从而得到最终的判别结果。

实验

互动论点对识别性能

下表展示了在互动论点对识别数据集上的各模型性能。实验结果显示本文提出的模型在P@1和MRR指标上均优于已有模型,一方面体现在文本信息建模方面,预训练模型BERT的性能超过了之前最先进的DVAE模型;另一方面体现在上下文信息建模方面,通过融入论辩图谱对于论点概念的编码表示的组件超过了之前的层次化CNN上下文建模给模型所带来的提升。

消融实验

下表展示了本文所提模型的消融实验,从结果中可以发现三个主要模块中对模型性能影响最大的是文本信息编码;在概念编码中对于模型性能提升最明显的是路径编码器。

进一步分析

本文对于得到的知识图谱中推理路径进行了进一步探究,主要分为四个子实验:

(a)概念对连通性:实验显示对于存在互动关系的正确论点对以及不存在互动关系的负样本,双方概念中存在推理路径(即联通)的实体对分别占54%和41%,即连通性对于判断是否存在互动关系有一定判别作用;

(b)推理路径长度分布:实验显示在正确论点对中的推理路径平均长度会略低于负样本中的推理路径,即更长的推理路径倾向于出现在无关的论点对中;

(c)推理路径中的关系分布:我们通过统计出现在所有推理路径中的关系,并应用一些词典资源(如+/-EffectWordnet/Connotation Frames等)对关系进行分类,结果显示在所有推理路径中,常识知识的关系和因果知识的关系占比非常接近,各占了所有关系的40%左右;

(d)路径长度截断:本文通过对路径长度做限制,去掉超过限制长度的推理路径并重复实验,结果显示对于互动论点对识别的任务,当推理路径的长度限制设置在4的时候达到最好效果,经分析这可能是推理路径数量(路径长度越大路径数越多)和推理路径质量(路径长度越小越有可能为正样本中的路径)之间的权衡。

总结

本文提出了一个模拟人类辩论推理过程的模型框架。具体实践中,我们首先从在线辩论william hill官网 ChangeMyView出发,利用OpenIE工具、词典资源和Wikipedia相关API进行概念对齐,构建了一个对话式辩论领域的知识图谱。

接着利用基于路径的图模型对辩论双方的概念对之间的推理路径进行编码,并将概念信息与预先训练好的语言模型BERT获得的语义信息进行对齐。在互动论点对识别任务上的实验表明该模型能够有效、透明地利用外部知识,进一步关于推理路径的实验也显示出基于我们构建的知识图谱所生成的推理路径具有较高的质量。

编辑:jq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 编码器
    +关注

    关注

    45

    文章

    3640

    浏览量

    134462
  • ACL
    ACL
    +关注

    关注

    0

    文章

    61

    浏览量

    11979

原文标题:基于论辩图谱的互动论点对识别

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    光谱看谱镜分析图谱

    火电厂材质分析看谱镜图谱
    发表于 12-06 15:02 0次下载

    软通动力入选《人工智能数据标注产业图谱

    近日,由中国信息通信研究院、中国人工智能产业发展联盟牵头,联合中国电信集团、沈阳市数据局、保定高新区等70多家单位编制完成并发布了《人工智能数据标注产业图谱》。
    的头像 发表于 12-03 10:18 150次阅读

    HarmonyOS Next元服务蒹葭动卡体验互动

    各位大佬,纯血鸿蒙HarmonyOS NEX手机、平板,应用市场搜索“蒹葭动卡”即可体验,打开留言即可发表你的文学观点,谢谢互动。 您也可以通过以下方式,打开“蒹葭动卡”互动
    发表于 11-26 10:31

    HarmonyOS Next元服务大学之道动卡互动

    各位大佬,纯血鸿蒙HarmonyOS NEX手机、平板,应用市场搜索“大学之道动卡”即可体验,打开留言即可发表你的文学观点,谢谢互动。 您也可以通过以下方式,打开“大学之道动卡”互动
    发表于 11-26 10:18

    58大新质生产力产业链图谱

    大跃升 的先进生产力。 58大新质生产力产业链图谱 01 元宇宙产业图谱 02 算力产业图谱 03 数商产业图谱 04 人形机器人产业图谱
    的头像 发表于 11-09 10:16 347次阅读
    58大新质生产力产业链<b class='flag-5'>图谱</b>

    大屏数字互动墙软件 液晶拼接屏互动软件 LED大屏交互软件

    在这个数字化浪潮汹涌的时代,各种数字多媒体互动设备不断出现,为数字展览提供了众多不一样的展示与互动效果,大屏数字互动墙软件,为观众提供了诸多新鲜的互动体验,让人不禁感叹科技发展之迅速,
    的头像 发表于 10-23 17:19 274次阅读
    大屏数字<b class='flag-5'>互动</b>墙软件 液晶拼接屏<b class='flag-5'>互动</b>软件 LED大屏交互软件

    物体识别桌 AR物体识互动桌 电容屏实物识别漫游桌

    在这个科技发达的时代,AR增强技术也在迅速发展,在展厅展馆中发光发热,带来了创意无限的互动展示效果,AR技术结合物体识别技术打造的AR物体识别桌,让游客有了全新的体验,通过新颖的人机交互方式和趣味展示效果,能吸引人们的目光,吸引
    的头像 发表于 10-21 17:44 189次阅读

    物体识别交互软件 AR实物识别桌软件 电容物体识别

    物体识别交互软件是一种新型的展示互动设备,其采用Unity3D技术开发,还运用物体识别技术、多媒体技术等现代先进技术。软件拥有强大的互动性和展示效果,有效提升了展品宣传效果,让观众了解
    的头像 发表于 10-16 17:22 233次阅读

    智能玩具用离线语音识别芯片有什么优势

    离线语音识别芯片NRK3301在智能玩具中应用广泛,其高识别率、低成本、低功耗等特性,提升了用户体验和互动性,支持本地和云端处理,适合无网络环境下的互动
    的头像 发表于 09-19 10:00 582次阅读
    智能玩具用离线语音<b class='flag-5'>识别</b>芯片有什么优势

    知识图谱与大模型之间的关系

    在人工智能的广阔领域中,知识图谱与大模型是两个至关重要的概念,它们各自拥有独特的优势和应用场景,同时又相互补充,共同推动着人工智能技术的发展。本文将从定义、特点、应用及相互关系等方面深入探讨知识图谱与大模型之间的关系。
    的头像 发表于 07-10 11:39 1037次阅读

    字节跳动关停多个互动剧业务

    字节跳动商业化部门巨量引擎旗下的多款互动剧小程序业务,包括泡泡心选、爪爪心选、果冻心选,将于6月17日正式关停。这些小程序以其独特的IAP(In-App Purchase)互动剧形式,深受用户喜爱,并长期内嵌于抖音APP中,为用户提供了丰富的娱乐体验。
    的头像 发表于 06-13 16:47 841次阅读

    智能故事机离线语音识别芯片,儿童教育新体验!

    随着家庭经济水平的提升,家长们对于孩子的教育投入也愈加重视。而智能故事机作为一种集教育、娱乐、互动于一体的儿童教育产品,恰好满足了家长们的需求。离线语音识别芯片作为智能故事机的核心技术,更是让这款
    的头像 发表于 05-22 09:21 507次阅读

    热重分析仪图谱怎么分析?#热重分析仪 #tga热重分析仪 #图谱分析

    分析仪分配图谱
    南京大展检测仪器
    发布于 :2024年02月29日 17:08:54

    利用知识图谱与Llama-Index技术构建大模型驱动的RAG系统(下)

    对于语言模型(LLM)幻觉,知识图谱被证明优于向量数据库。知识图谱提供更准确、多样化、有趣、逻辑和一致的信息,减少了LLM中出现幻觉的可能性。
    的头像 发表于 02-22 14:13 1208次阅读
    利用知识<b class='flag-5'>图谱</b>与Llama-Index技术构建大模型驱动的RAG系统(下)

    知识图谱基础知识应用和学术前沿趋势

    知识图谱(Knowledge Graph)以结构化的形式描述客观世界中概念、实体及其关系。是融合了认知计算、知识表示与推理、信息检索与抽取、自然语言处理、Web技术、机器学习与大数据挖掘等等方向的交叉学科。人工智能是以传统符号派与目前流行的深度神经网路为主,如下图所示,知识图谱
    的头像 发表于 01-08 10:57 947次阅读
    知识<b class='flag-5'>图谱</b>基础知识应用和学术前沿趋势