Graph Prototypical Networks for Few-shot Learning on Attributed Networks

https://arxiv.org/pdf/2006.12739

https://github.com/kaize0409/GPN

Graph Prototypical Networks for Few-shot Learning on Attributed Networks,CIKM,2020

总结:整个思想是原型网络+GNN,将元学习中的原型网络拓展到属性网络中。另外,对原型网络中原型计算方法针对属性网络做了改进,即计算节点对其所属类别的重要程度z作为计算类别原型时的权重。本文实验部分还比较充实,作为图学习领域为数不多的小样本学习方法,总体来说还可以。

阅读更多...

High-order structure preserving graph neural network for few-shot learning

https://arxiv.org/pdf/2005.14415

https://github.com/yangfeifei02/HOSP

High-order structure preserving graph neural network for few-shot learning,2020

总结:文章提出的HOSP-GNN是对EGNN模型的改进,创新点在于将高阶结构引入GNN中,近似统一了不同任务中的度量标准,提高了小样本元学习算法的准确度。另外在GNN逐层迭代的过程中增加了流行结构约束,进一步提高了模型性能。

阅读更多...

Graph Few-shot Learning via Knowledge Transfer

https://arxiv.org/pdf/1910.03053

Graph Few-shot Learning via Knowledge Transfer,2020,AAAI

总结:本文利用FSL中元学习思想,随机采样一系列图(等同于元学习中的一系列任务),提出的GFL模型主要背靠原型网络,计算每个类别的原型,然后根据节点和类别原型之间的距离判断节点所属类别。然后在这个基础上做了很多缝合和优化工作:

  • 借鉴Diffpool方法,学习图的层级表示,并融合到PGNN参数中,使得每个图都有独特的ϕi\phi_i
  • 在初始节点嵌入的基础上,在属于同一个类别的所以节点之间构造关系结构R,弥补原始节点嵌入只聚合了距离较近的邻居信息这一缺陷
  • 在损失函数中引入图自编码器损失,来提高训练的稳定性和节点表示的质量
阅读更多...

Free Lunch For Few-Shot Learning: Distribution Calibration

https://arxiv.org/pdf/2101.06395v2.pdf

https://github.com/ShuoYang-1998/Few_Shot_Distribution_Calibration

Free Lunch For Few-Shot Learning: Distribution Calibration,ICLR,2021

总结:迁移学习比较类似,从有充足样本的基类中学习特征分布,迁移到新类数据集,修正新类数据集特征分布,再从修正后的分布中做采样,生成大量样本用于分类器的训练。从迁移特征分布这个角度切入,再进行样本生成,感觉角度找的很好。

阅读更多...

Few-shot Lifelong Learning

https://arxiv.org/pdf/2103.00991

Few-shot Lifelong Learning,AAAI,2021

总结:针对小样本下的class increatmental,或者称之为continual learning场景,作者提出了FSLL模型。为了模拟calss increatmental,作者设定了多个session,每个session类别集合都不相交。在session 1, 每个类别都有大量样本,按照常规小样本学习方式进行训练(即预训练模型)。在之后t>1的每个session,每个数据集只包含C各类别,每个类别只有K个样本。为了实现continual learning,防止灾难遗忘并提高模型精确度,作者采取了四个措施:1. 部分更新参数,2.正则化,3.最大化原型距离,4.添加自监督辅助任务。

阅读更多...

Meta-Graph Few Shot Link Prediction Via Meta Learning

https://arxiv.org/pdf/1912.09867

https://github.com/joeybose/Meta-Graph

Meta-Graph Few Shot Link Prediction Via Meta Learning,2019,arxiv e-preprint

总结:基于梯度的元学习+图签名函数,采用VGAE作为链路预测模型。基于梯度的元学习在多个任务之间学习一个共享参数使得使得新图上的VGAE具有一个较好的初始参数;图签名函数(GCN实现)为每个图学习一个图签名融合到VGAE模型使得每个图的VGAE模型graph specific化。

阅读更多...
  • Copyrights © 2021-2022 Yin Peng
  • 引擎: Hexo   |  主题:修改自 Ayer
  • 访问人数: | 浏览次数:

请我喝杯咖啡吧~

支付宝
微信