0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

ICML 2023 | 对多重图进行解耦的表示学习方法

智能感知与物联网技术研究所 来源:未知 2023-09-24 20:45 次阅读
wKgaomUkfuqAZtgxAAAl6LOgh3c601.png

Introduction

无监督多重图表示学习(UMGRL)受到越来越多的关注,但很少有工作同时关注共同信息和私有信息的提取。在本文中,我们认为,为了进行有效和鲁棒的 UMGRL,提取完整和干净的共同信息以及更多互补性和更少噪声的私有信息至关重要。

为了实现这一目标,我们首先研究了用于多重图的解缠表示学习,以捕获完整和干净的共同信息,并设计了对私有信息进行对比约束,以保留互补性并消除噪声。此外,我们在理论上分析了我们方法学到的共同和私有表示可以被证明是解缠的,并包含更多与任务相关和更少与任务无关的信息,有利于下游任务。大量实验证实了所提方法在不同下游任务方面的优越性。

wKgaomUkfuqAVfjYAABHPPBGdKY217.png

论文标题:

Disentangled Multiplex Graph Representation Learning

论文链接:

https://openreview.net/pdf?id=lYZOjMvxws

代码链接:

https://github.com/YujieMo/DMG

wKgaomUkfuqAGHq2AAAuhh9-KLM945.png

Motivation

以前的 UMGRL 方法旨在隐式提取不同图之间的共同信息,这对于揭示样本的身份是有效和鲁棒的。然而,它们通常忽视了每个图的私有信息中的互补性,并可能失去节点之间的重要属性。

例如,在多重图中,其中论文是节点,边代表两个不同图中的共同主题或共同作者。如果一个私有边(例如,共同主题关系)仅存在于某个图中,并连接来自相同类别的两篇论文,它有助于通过提供互补信息来降低类内差距,从而识别论文。因此,有必要同时考虑共同信息和私有信息,以实现 UMGRL 的有效性和鲁棒性。

基于有助于识别样本的共同信息,捕获不同图之间的所有共同信息(即完整的)是直观的。此外,这种完整的共同信息应该仅包含共同信息(即干净的)。相反,如果共同信息包含其他混淆的内容,共同信息的质量可能会受到损害。

因此,第一个问题出现了:如何获得完整和干净的共同信息?另一方面,私有信息是互补性和噪声的混合。考虑引文网络的同一个示例,如果私有边连接来自不同类别的两篇论文,它可能会干扰消息传递,应该作为噪声被删除。因此,第二个问题出现了:如何保留私有信息中的互补性并去除噪声?

然而,以前的 UMGRL 方法很少探讨了上述问题。最近,已经开发了解耦表示学习方法,以获得共同和私有表示,但由于多重图中节点之间的复杂关系以及图结构中的互补性和噪声,将它们应用于解决 UMGRL 中的上述问题是具有挑战性的。为此,我们提出了一种新的解耦多重图表示学习框架,以回答上述两个问题。

wKgaomUkfuqAGClPAAAtJ0fTuoM407.png

Method wKgaomUkfuuAFKzpAAOcVeoAsDo707.png

Notations

表示多重图,表示多重图中的第 张图,表示图的数量。

本文模型 DMG 首先通过一个共同变量 学习到经过解耦的共同表示以及私有表示,接着获取到融合表示

3.1 Common Information Extraction

以前的 UMGRL 方法(例如,图之间的对比学习方法)通常通过最大化两个图之间的互信息来隐式捕获不同图之间的共同模式。例如,为了提取共同信息,STENCIL(Zhu等人,2022)最大化每个图与聚合图之间的互信息,而 CKD(Zhou等人,2022)最大化不同图中区域表示和全局表示之间的互信息。

然而,由于它们未能将共同信息与私有信息解耦,因此这些努力不能明确地捕获完整且干净的共同信息。为了解决这个问题,本文研究了解耦表示学习,以获得完整且 clean 的共同信息。

具体地,首先使用图卷积层 生成节点表示

wKgaomUkfuuABQ8NAAAvkkAdEjM107.png

表示一个带权重的自环; 表示度矩阵; 表示卷积层 的权重矩阵。

接着使用 MLP 来促进每张图共同和私有信息的解耦过程,分别将节点嵌入 映射为共同表示和私有表示 给定每张图的共同表示 ,对齐这些表示最简单的方法使让它们彼此相等。然而这样做会影响共同表示的质量。在本文中,我们通过奇异值分解操作引入了一个具有正交性和零均值的公共变量 到共同表示中。然后,我们对公共表示 与公共变量 之间进行匹配损失,旨在逐渐对齐来自不同图的共同表示,以捕获它们之间的完整共同信息。匹配损失的公式如下:wKgaomUkfuuAN_OnAABm6_AnC5s014.png的作用是作为所有图共同表示之间的一个桥梁,使得这些表示具有较好的一致性:

然后,为了解耦公共和私有表示,我们必须强化它们之间的统计独立性。值得注意的是,如果公共和私有表示在统计上是独立的,那么必须满足:

wKgaomUkfuuAfQVjAAA1rUFYpCg594.png

显然,通过最小化 之间的相关性,可以实现公共和私有表示之间的独立性。特别是,相关性损失是通过计算 Pearson 相关系数来获得的,即:wKgaomUkfuuAIf8PAABc_K2L0zc801.png我们期望通过匹配损失(即获得完整的共同信息)和相关性损失(即获得干净的共同信息)来获得清晰的共同表示 中的共同信息。然而,在无监督框架下,学得的共同和私有表示可能是微不足道的解决方案。 常见的解决方案包括对比学习方法和自编码器方法。对比学习方法引入大量负样本以避免微不足道的解决方案,但可能会引入大量的内存开销。自编码器方法采用自编码器框架,通过重构损失来促进编码器的可逆性,以防止微不足道的解决方案。然而,现有的图自编码器旨在重构直接的边缘,忽略了拓扑结构,并且计算成本高昂。 为了解决上述问题,我们研究了一种新的重构损失,以同时重构节点特征和拓扑结构。具体而言,我们首先将共同和私有表示连接在一起,然后使用重构网络 获得重构的节点表示 。我们进一步进行特征重构和拓扑重构损失,以分别重构节点特征和局部拓扑结构。因此,重构损失可以表述为:wKgaomUkfuyACBs_AABGcDUoCZA710.png

, 表示采样的邻居数。

在上式中第一项鼓励 重构原始节点特征,第二项鼓励 重构拓扑结构。

3.2 Private Information Constraint

私有信息是补充信息和噪音的混合物。因此,鉴于学习到的私有表示,我们希望进一步回答 3.1 节中的第二个问题,即保留补充信息并消除私有信息中的噪声。此外,多重图的私有信息主要位于每个图的图结构中,因为不同图的节点特征是从共享特征矩阵 X 生成的。因此,我们研究了在每个图结构中保留互补边并去除噪声边。

首先提供了以下有关图结构中补充信息和噪声的定义:
  • 图 上的任意私有边,即 ,若节点对 所属的类别相同,那么 将是图 的一条补充边,否则是一条噪声边。
根据定义 3.2,每个图中的私有信息分为两部分,即补充边和噪声边,根据节点对的类别。然而,在无监督方式下,节点标签不可用。为解决这个问题,在这项工作中,我们将节点对(vi, vj)的标签信息近似为共同变量 之间的余弦相似度:wKgaomUkfuyAfpVoAAAdVBUNh_A185.png  给定边集 中所有节点对的余弦相似度,进一步假设具有最高相似度的节点对属于同一类,具有低相似度的节点对属于不同类。因此,对于连接节点的高相似性边是补充边,表示为 ,而对于连接节点的低相似性边是噪声边,表示为 。直观地,应保留补充边,而应删除噪声边。

设计了一个对比模块,用于进行对比损失:

wKgaomUkfuyARvQ0AABMx0GFwa4225.png

3.3 Objective Function

wKgaomUkfuyAQlDZAAAlJTzDbvE765.png

经过优化,预计所提出的 DMG 将获得完整且干净的公共表示,以及更多互补性和更少噪声的私有表示,以实现有效且稳健的 UMGRL)。然进行平均池化(LeCun等人,1989)来融合所有图的私有表示,以获得总体的私有表示 P,即

wKgaomUkfuyADKqjAAAahdKicYQ162.png

最后,我们将总体的私有表示 P 与共同变量 S 连接起来,获得最终的表示 Z。

wKgaomUkfuyARpcyAAAr2pbNr48206.png

Experiments

4.1 Node Classification

wKgaomUkfu2AWKwiAAZ8K96J5VQ663.png

4.2 Node Clustering

wKgaomUkfu2ASdYNAAQCp_M5_UQ687.png

4.3 Single-view graph datasets

wKgaomUkfu2ATRbIAAUw1jhX_cg715.png

wKgaomUkfu6AZ8zhAAAtTL4L6hI450.png

Conclusion

本文提出了一个用于多重图的解耦表示学习框架。为实现这一目标,我们首先解耦了共同表示和私有表示,以捕获完整和干净的共同信息。我们进一步设计了对私有信息进行对比约束,以保留互补性并消除噪声。理论分析表明,我们方法学到的共同和私有表示可以被证明是解耦的,包含更多与任务相关的信息和更少与任务无关的信息,有利于下游任务。广泛的实验结果表明,所提出的方法在不同的下游任务中在有效性和鲁棒性方面始终优于现有方法。

·


原文标题:ICML 2023 | 对多重图进行解耦的表示学习方法

文章出处:【微信公众号:智能感知与物联网技术研究所】欢迎添加关注!文章转载请注明出处。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 物联网
    +关注

    关注

    2909

    文章

    44608

    浏览量

    373099

原文标题:ICML 2023 | 对多重图进行解耦的表示学习方法

文章出处:【微信号:tyutcsplab,微信公众号:智能感知与物联网技术研究所】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    瑞萨电子与吉利汽车联合举办汽车主控芯片软硬能力提升训练营

    近日,由瑞萨电子与吉利汽车研究院联合举办的“汽车主控芯片软硬能力提升训练营”顺利落幕。
    的头像 发表于 12-09 10:50 232次阅读

    非线性光与线性光的差别

    非线性光与线性光的不同 在威廉希尔官方网站 中光的威廉希尔官方网站 非常常见,光在威廉希尔官方网站 中的作用是进行隔离并对光电进行
    的头像 发表于 11-16 10:28 345次阅读

    什么是机器学习?通过机器学习方法能解决哪些问题?

    计算机系统自身的性能”。事实上,由于“经验”在计算机系统中主要以数据的形式存在,因此机器学习需要设法对数据进行分析学习,这就使得它逐渐成为智能数据分析技术的创新源之一,
    的头像 发表于 11-16 01:07 396次阅读
    什么是机器<b class='flag-5'>学习</b>?通过机器<b class='flag-5'>学习方法</b>能解决哪些问题?

    如何使用 PyTorch 进行强化学习

    强化学习(Reinforcement Learning, RL)是一种机器学习方法,它通过与环境的交互来学习如何做出决策,以最大化累积奖励。PyTorch 是一个流行的开源机器学习库,
    的头像 发表于 11-05 17:34 291次阅读

    《DNK210使用指南 -CanMV版 V1.0》第一章本书学习方法

    第一章 本书学习方法 为了让读者更好地学习和使用本书,本章将为读者介绍本书的学习方法,包括:本书的学习顺序、编写规范、代码规范、资料查找和学习
    发表于 08-28 17:57

    不平衡电网下基于功率的PWM整流器控制策略研究

    当三相输入电压不平衡时,在静止坐标系下进行分析,一般都忽略了电流的,应用传统比例谐振控制器时存在一个问题,即有功功率与无功功率的耦合严重。针对不平衡电网工况下PWM整流器有功及无功功率严重耦合
    的头像 发表于 07-23 14:40 192次阅读
    不平衡电网下基于功率<b class='flag-5'>解</b><b class='flag-5'>耦</b>的PWM整流器控制策略研究

    深度学习中的时间序列分类方法

    的发展,基于深度学习的TSC方法逐渐展现出其强大的自动特征提取和分类能力。本文将从多个角度对深度学习在时间序列分类中的应用进行综述,探讨常用的深度
    的头像 发表于 07-09 15:54 909次阅读

    深度学习中的无监督学习方法综述

    应用中往往难以实现。因此,无监督学习在深度学习中扮演着越来越重要的角色。本文旨在综述深度学习中的无监督学习方法,包括自编码器、生成对抗网络、聚类算法等,并分析它们的原理、应用场景以及优
    的头像 发表于 07-09 10:50 708次阅读

    智能数采网关助力破解软硬件难题

    不同需求提供可靠的数字化支持。 软硬件是指将软件和硬件进行分离,使得软件和硬件能够独立设计、开发、测试和部署,从而提高系统的灵活性、可扩展性和可维护性。在工业控制领域,由于PLC(可编程逻辑控制器)产品品牌众多,且通常
    的头像 发表于 04-11 15:37 399次阅读
    智能数采网关助力破解软硬件<b class='flag-5'>解</b><b class='flag-5'>耦</b>难题

    检测仪的制作方法有哪些

    搭建和软件编程等方面。本文将详细介绍光检测仪的制作方法,包括威廉希尔官方网站 设计和搭建、元器件选型、软件编程等方面。 一、光检测仪的威廉希尔官方网站 设计和搭建 1.选取合适的光件 光
    的头像 发表于 04-01 18:10 2556次阅读

    KUKA机器人8.7系统对PROFINET软件进行编程控制的步骤

    为了可以在不同的机器人上交替地运行一个设备,需要 IOCTL 命 令 1060 进行
    的头像 发表于 03-04 09:35 2457次阅读
    KUKA机器人8.7系统对PROFINET软件<b class='flag-5'>进行</b>编程控制的步骤

    正向光和反向光区别

    场景。 首先,让我们从正向光开始。正向光也被称为光电耦合器或光电隔离器,它是一种能够将电信号转变为光信号来进行隔离的器件。正向光通常由一个发光二极管(LED)和一个光敏电阻(光控
    的头像 发表于 02-02 10:08 1720次阅读

    一种常见的设计

    在模块划分时,我们通常会考虑耦合,即尽量减少模块间的交互,让模块间的接口尽量简单。
    的头像 发表于 01-17 10:05 555次阅读
    一种常见的<b class='flag-5'>解</b><b class='flag-5'>耦</b>设计

    RAM的应用-一种常见的设计

    在模块划分时,我们通常会考虑耦合,即尽量减少模块间的交互,让模块间的接口尽量简单。
    的头像 发表于 01-13 17:14 680次阅读
    RAM的应用-一种常见的<b class='flag-5'>解</b><b class='flag-5'>耦</b>设计

    请问初学者要怎么快速掌握FPGA的学习方法?

    对于初学者 FPGA的编程语言是什么? FPGA芯片的基础结构也不了解. FPGA开发工具的名称和使用方法都不知道. 要学的很多啊,请问有什么自学的学习方法么?
    发表于 01-02 23:01