An Empirical Study of Graph Contrastive Learning

https://arxiv.org/pdf/2109.01116

https://github.com/GraphCL/PyGCL

An Empirical Study of Graph Contrastive Learning ,2021,NIPS( Datasets and Benchmarks track )

总结:一篇实验型综述,尝试通过实验对现有GCL方法有效性进行解释,并总结出一些通用的结论。另外,作者写了一个GCL库PyGCL,里面封装了一些标准化的GCL组件。

阅读更多...

InfoGCL: Information-Aware Graph Contrastive Learning

https://arxiv.org/pdf/2110.15438

InfoGCL: Information-Aware Graph Contrastive Learning ,2021,NIPS

总结:本质上还是一种自适应GCL方法。现有的GCL方法基本都是被精心设计,用于某种特定的数据集或者图学习任务。GCL主要由增强、编码和对比三部分构成,而每个组件都有很多种可选项,因此当我们拿到某种特定图学习任务中,我们很难寻找这些组件间的最优组合,来设计一个最优GCL模型。本文作者就是针对这个问题,提出了三条准则,称之为“InfoGCL principle”,分别对应GCL中三个组件。按照作者提出的三条准则来,我们就能设计出用于特定任务的最优GCL模型。

阅读更多...

Deep Graph Infomax

https://arxiv.org/pdf/1809.10341

https://github.com/PetarV-/DGI

Deep Graph Infomax ,2019,ICLR

总结:图对比学习的鼻祖。作者首次提出基于互信息的无监督图表示学习方法DGI,用于节点分类任务。DGI通过最大化local表示和global表示之间的互信息来节点表示。作者还从理论上证明了最大化DGI的目标函数和图表示学习中的最大化互信息是等价的。

阅读更多...

Motif-based Graph Self-Supervised Learning forMolecular Property Prediction

https://arxiv.org/pdf/2110.00987

Motif-based Graph Self-Supervised Learning forMolecular Property Prediction,2021,NIPS

总结:作者提出了一种基于motif多层级生成式自监督预训练方法——MGSSL,用于分子图属性预测。具体来说,作者先利用一种分子碎片化算法将原始图打碎,得到不同类型的motifs,然后把这些motifs看作节点,并连接到一起构成一棵motif树(这里和我之前看过的一篇超图方法比较类似,先构建子图,然后将子图看做节点,在子图间添加边,构成一张超图)。然后利用GNNs学习到的节点嵌入对这棵树进行重构。另外,为了捕获分子图中多尺度信息,作者设计的MGSSL框架是多层级的。即在进行motif-tree生成的同时,对节点类型和边类型进行预测,最小化两者的交叉熵损失。

阅读更多...

Distance-wise Graph Contrastive Learning

https://arxiv.org/pdf/2012.07437

Distance-wise Graph Contrastive Learning,2020,arxiv preprint

总结:在半监督图学习任务中,作者通过实验发现,CL对模型性能的提升主要集中在那些远离有标签数据的节点上。基于这个发现,作者认为现有的这些GCL方法,GL和Graph Learning的结合方式是不协调的,提出了一种新的半监督图对比学习方法DwGCL。具体来说,作者根据节点的PageRank值进行distance-wise augmentation,根据TIG(作者自己定义的一个东西)值选取Contrastive Pair,最后利用KL散度定义了模型的损失函数。总的来说,个人认为这篇文章切入角度很有趣,其动机让人耳目一新,和其他论文有很大区别。不过比较可惜的是,从实验结果来看,DwGCL带来的性能提升并不多,平均大概有1%,但是DwGCL模型和其他GCL方法相比更复杂,感觉得不偿失。

阅读更多...

Towards Robust Graph Contrastive Learning

https://arxiv.org/pdf/2102.13085

Towards Robust Graph Contrastive Learning,2021,arxiv preprint

总结:作者提出一种对抗增强策略,然后基于此提出了一种鲁棒性更强的图对比学习方法GROC。robust这个点感觉可以做,这方面文章暂时不多,不过个人感觉这篇文章写得不太行,有点乱,关键点没有介绍清楚。

阅读更多...

Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning

https://arxiv.org/pdf/2009.07111

Contrastive and Generative Graph Convolutional Networks for Graph-based
Semi-Supervised Learning ,2020,AAAI

总结:作者提出了一种半监督图对比学习方法CG3\text{CG}^3。模型比较特别的点有两个:一是和传统对比学习方法中增强策略不同,CG3\text{CG}^3不改变原始图的结构或属性信息,而是从local和global两个不同维度学习节点嵌入,然后进行对比;二是CG3\text{CG}^3的目标函数同时包含对比损失、生成损失和交叉熵分类损失。从实验结果来看,模型的实验性能是不错的,不过可能存在的一个确定就是损失函数太复杂了,训练起来代价可能比较高。

阅读更多...

Multi-Level Graph Contrastive Learning

https://arxiv.org/pdf/2107.02639

Multi-Level Graph Contrastive Learning ,2021,arxiv preprint

总结:论文比较简单,作者提出一种新的图对比学习方法MLGCL。本文主要有两个创新点:一是提出了一种新的增强策略,即从节点特征空间生成KNN图作为新视角和原始图进行对比;二是提出了multi-level对比损失,即同时进行node-node和graph-graph对比。通过实验可以发现MLGCL中KNN增强、node-node对比和graph-graph对比都起到了很重要的作用,缺一不可。

阅读更多...

Adversarial Graph Augmentation to Improve Graph Contrastive Learning

https://arxiv.org/pdf/2106.05819

https://github.com/susheels/adgcl

Adversarial Graph Augmentation to Improve Graph Contrastive Learning,2021,arxiv preprint

总结:作者提出了一种对抗图对比学习框架AD-GCL,其实可以看做一种自适应数据增强GCL。具体来说,和其他自适应数据增强不同(在DA策略集合中选取最优组合),作者针对某一种数据增强策略,把数据增强看做一个可学习过程,用GNN-based augmenter学习一个最优增强策略。以Drop Edge这种数据增强策略为例,在AD-GCL框架下,我们不需要预先设计好增强策略的各种超参,而是利用一个augmenter自动学习最优超参。2021年CVPR有一篇名为“AdCo: Adversarial Contrast for Efficient Learning of Unsupervised Representations from Self-Trained Negative Adversaries”的文章,这篇文章感觉又是把CV里面的策略搬到图学习中。

阅读更多...

SelfGNN: Self-supervised Graph Neural Networks without explicit negative sampling

https://arxiv.org/pdf/2103.14958

https://github.com/zekarias-tilahun/SelfGNN

SelfGNN: Self-supervised Graph Neural Networks without explicit negative sampling,2021,WWW

总结:作者提出了隐式负采样GCL模型SelfGNN。创新意义不强,纯粹把CV中一种最新的、非常牛的对比学习技术BYOL弄到图对比学习里面来了。主要创新点有两个:一是借鉴CV中隐式CL方法,将其拓展到GCL方法中;二是借鉴CV中数据增强技术,提出4种用于图数据的特征增强(FA)方法,取得了和常用的拓扑增强(TA)方法相当的性能,但是不需要额外的计算代价(TA计算复杂度通常为O(N3)O(N^3))。文章实验比较丰富,实验结果也挺好的。

阅读更多...
  • Copyrights © 2021-2022 Yin Peng
  • 引擎: Hexo   |  主题:修改自 Ayer
  • 访问人数: | 浏览次数:

请我喝杯咖啡吧~

支付宝
微信