https://arxiv.org/pdf/2010.13902

https://github.com/Shen-Lab/GraphCL

Graph Contrastive Learning with Augmentations ，2020，NIPS

总结：作者认为图学习领域，由于数据集巨大，并且GNNs由于过拟合问题往往层数很浅，因此研究GNNs下的预训练技术十分有必要。针对图分类下的预训练技术，作者的贡献主要有两个：一是仿照CV中的数据增强，提出了四种图数据增强策略；二是提出了一个新的图对比学习框架GraphCL。另外值得一提的是，作者通过实验对四种图数据增强策略进行了很多更细致的研究，得出了一些有趣的结论。

https://arxiv.org/pdf/2010.14945

https://github.com/CRIPAC-DIG/GCA

Graph Contrastive Learning with Adaptive Augmentation ，2021，WWW

总结：现有的图对比学习方法大多采用统一的数据增强策略，忽略了对数据增强策略方面的研究。作者认为现有的数据增强方式存在两个弊端：一是对于节点属性，简单的数据增强数据增强没什么效果；二是对于拓扑结构数据增强忽略了不同节点在图中影响力不同。因此作者提出了一种新的基于自适应数据增强策略的图对比学习框架GCA。实验结果虽然在大多数设定下都是最优的，但是没提高多少，给人一种调参调出来的感觉。从消融实验的结果来看，模型核心创新点带来的性能提升并不多。

https://openreview.net/pdf?id=vujTf_I8Kmc

https://github.com/wuwenshan/ConstellationNet

Attentional Constellation Nets for Few-Shot Learning，2021，ICLR

总结：本文将传统part-based模型中的constellation模型用于小样本学习中，解决小样本场景下样本稀少问题。文章的创新点在于如何将传统constellation模型融合到CNN中用于小样本学习。给我的启发：感觉和ICLR 2021另外一篇concept learner论文异曲同工，都是从更高层级的part of object入手，而非传统像素级别，让模型学习一些高层级的显性知识（这样模型泛化能力可能更强，有利于测试集上分类）。感觉这种part-based方向值得深入研究下。

https://arxiv.org/pdf/1909.09157

https://github.com/learnables/learn2learn

Rapid Learning or Feature Reuse? Towards Understanding the Effectiveness of MAML，2020，ICLR

总结：文章提出的ANIL算法是2021ICLR另一篇BOIL文章的前传，强烈推荐将MAML、ANIL和BOIL三篇文章放到一起看，感觉还是很奇妙的，值得深入研究。文章从“ Is MAML’s efficacy predominantly due to rapid learning or feature reuse?”问题出发，通过实验证明了feature reuse是MAML成功的主要因素，并据此提出了ANIL（Almost No Inner Loop）和NIL（No Inner Loop）两种新算法。文章实验很丰富，结果也很漂亮。

https://arxiv.org/pdf/1703.06103

https://github.com/tkipf/relational-gcn

Modeling Relational Data with Graph Convolutional Networks，2018，ESWC

总结：比较早的一篇用于知识图谱上信息补全的模型，具体来说用来解决实体分类和链路预测两个任务。针对知识图谱中三元组数据，对传统GCNs的转换函数做了改进提出了R-GCN模型。在实体分类任务中采用encoder架构，在链路预测任务中采用encoder-decoder即自编码器架构。最后的实验效果不是很理想，不过文章影响力挺大，被引量比较高。

https://arxiv.org/pdf/2008.08882

BOIL: Towards Representation Change for Few-shot Learning，2021，ICLR

总结：本文作者针对MAML方法提出了一种新的变体——BOIL，Body Only undate in Inner Loop，在内循环中只更新特征提取器，不更新分类器。将MAML、ANIL和BOIL三个模型结合起来看还挺有趣的。在前人的研究中，针对MAML有两种假设，分别是representation reuse和representation change。作者通过大量实验证明了MAML和ANIL的内在学习机制是representation reuse，而BOIL的内在学习机制是representation change，并且BOIL的这种机制下的模型性能要优于MAML/ANIL，尤其在跨域任务中。文章实验做得很漂亮，个人觉得是一篇很有阅读价值的论文。

https://openreview.net/pdf?id=D3PcGLdMx0

MELR: Meta-Learning via Modeling Episode-Level Relationships for Few-Shot Learning，2021，ICLR

总结：这是一篇针对小样本学习模型稳定性的文章。作者从小样本元学习模型抗干扰能力比较弱，在poor sampling情况下稳定性比较差这一点入手，提出了一种新的元学习框架MELR。具体来说基于CEAM和CECR这两个技术，提升了元学习模型在poor sampling下的稳定性。前者是一种跨episode的自注意力方法，后者是一种跨episode的正则化方法。个人觉得模型的实际意义不是很大，实际应用中，尤其标准数据集中这种poor sampling并不常见，对模型的性能应该没太多影响。作者提出的MELR模型和传统模型相比增加了一定复杂度，但是从标准数据集上的实验来看，性能并没有提高太多。不过，个人认为小样本模型抗干扰能力或者说稳定性确实是一个比较有研究价值的方向。

https://arxiv.org/pdf/2007.07375

https://github.com/snap-stanford/comet

Concept Learners for Few-Shot Learning，2021，ICLR

总结：文章立足点比较好，从人类认知模式出发，即人类认知的核心在于结构化、可复用的concepts，比如鸟类生物的羽毛、翅膀、喙，通过组合这些concepts我们可以快速、准确的识别鸟类生物。但是现有的元学习方法都是学习一个joint、unstructured先验知识，这限制了模型的泛化能力。因此作者从concept这个维度，提出了COMET模型，通过聚合多个不同concept learner学到的信息进行小样本分类。但是从实验结果看，COMET的主要缺点是对concept的依赖过大。使用人工标注concept时，和baseline相比COMET性能有很大幅度提升，但是使用自动提取的concept时，性能提升有限，而且这种性能的提升可能更多的来自于模型的复杂度（因为N个concept learner相当于堆叠了N个原型网络，模型复杂度提高了N倍）。

https://arxiv.org/pdf/2012.06755

https://github.com/DavideBuffelli/SAME

A Meta-Learning Approach for Graph Representation Learning in Multi-Task Settings，2020，NIPS workshop

总结：本文是2020年NIPS workshop上分享的一篇文章，角度很新颖，跳出了用元学习解决小样本问题这个圈子，利用元学习跨任务学习这一特性，来解决多任务图学习问题。文章算法很简单，基本和MAML模型完全一致，但是切入角度值得借鉴。

https://ojs.aaai.org/index.php/AAAI/article/view/16551/16358

Relative and Absolute Location Embedding for Few-Shot Node Classification on Graph，2021，AAAI

总结：本文的出发点是：单个元任务中不同节点间的相互依赖关系应该被编码到prior knowledge中，但是两个节点在整个图中的距离可能较远，GNNs无法捕获这种long range dependencies。作者的解决方案就是，在两个节点u和v之间采样路径，使用path encoder计算路径编码，同时考虑不同任务之间学习到的先验知识应该被对齐到整个图上，所以从task和graph两个level上分别计算location embedding。另外考虑到远距离节点之间的路径采样效率很低，提出了一种新的基于hub节点的路径采样策略。总的来说，文章写得挺好的，实验结果也挺好的，学习价值较高，可惜作者暂时没有提供源码。