https://dl.acm.org/doi/pdf/10.1145/3357384.3358106

https://github.com/ChengtaiCao/Meta-GNN

Meta-GNN: On Few-shot Node Classification in Graph Meta-learning，CIKM，2019

总结：本篇文章非常简单，单纯的将MAML和GNN相结合解决图小样本节点分类问题。工作做得非常浅，论文正文只有3页多，但是胜在是第一篇将元学习拓展到图小样本学习领域的文章，所以文章也能发在CIKM上。另一点就是本文提供了实验源码可以参考一下。

阅读更多...

https://dl.acm.org/doi/pdf/10.1145/3292500.3330961

https://github.com/chuxuzhang/KDD2019_HetGNN

Heterogeneous Graph Neural Network，KDD，2019

总结：解决异构网络嵌入中存在的三个挑战：（1）如何为每个节点采样高相关性的邻居？（2）如何设计一个node content编码器，解决不同节点携带的信息是异构这一问题？（3）如何考虑节点类型的影响，整合不同类型邻居节点的信息？针对这三个问题作者分别提出了解决方案：（1）采用RWR采样，按照出现频率选取前10各节点作为目标节点v的邻居，这样可以保证每个节点邻居数量相同，且高相关性邻居被采样到；（2）采用双向LSTM对节点内容信息进行编码，将文本、图像等多模态特征整合成一个特征向量；（3）将节点邻居按类型分类，计算每个类型邻居节点的信息，再通过注意力机制聚合所有类型邻居节点的信息。

阅读更多...

https://qiniu.pattern.swarma.org/pdf/arxiv/2002.01680.pdf

https://github.com/cynricfu/MAGNN

MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding ，KDD，2020

总结：现有的利用元路径做异构网络嵌入的方法存在一些限制：“要么忽略了节点的内容特征，要么丢弃了元路径上的中间节点，要么仅仅考虑一条元路径”。为了解决这些问题，作者提出了MAGNN模型，包含三个组件：（1）node content转换器，用一个简单的线性映射把异构特征信息（比如图像和文本）映射到同一个特征空间；（2）intra-metapaht聚合器，将同一个类型元路径的多条实例合并成单个向量，表示该类型元路径的语义信息（这块参考RotatE，用一个Relational rotation encoder进行整合）；（3）inter-metapath聚合器，将不同类型元路径的语义信息整合到一起（用一个注意力机制）。

阅读更多...

https://arxiv.org/pdf/2003.01332

https://github.com/acbull/pyHGT

Heterogeneous Graph Transformer，WWW，2020

总结：未完待续

阅读更多...

https://dl.acm.org/doi/pdf/10.1145/3097983.3098036

https://github.com/apple2373/metapath2vec

Metapath2vec: Scalable Representation Learning forHeterogeneous Networks ，KDD，2017

总结：未完待续… …

阅读更多...

2. 逻辑回归

Logistic回归主要用于二分类任务，其本质是假设数据服从某个分布，然后使用极大似然估计做参数估计。

2.1 对比线性回归

逻辑回归和线性回归都是一种广义线性模型。看下面这个例子：

对于Tumor的良性和恶性这个二分类问题，0表示负类为良性，1表示正类为恶性。下图展示了在这8个训练样本下，使用线性回归模型$h_\theta(x)=\Theta^Tx$可能拟合出下图中的红线。

此时我们可以正确判别肿瘤是良性还是恶性的：根据这条直线可以找到一个阈值，比如 $h_\theta(x)=0.5$，当$h_\theta(x)\geq0.5$时预测$y=1$为恶性，当$h_\theta(x)<0.5$时预测$y=0$为良性。

阅读更多...

图拉普拉斯的前世今生 博客搬运工 # 1. 拉普拉斯算子

1.1 散度

1. 二维平面上的通量

   先看一道物理题： 小明乘帆船出行，刮来一阵妖风，假设帆的面积为$S$, 和妖风的夹角为$\alpha$ ，妖风在每单位面积上的垂直风压为$S$，求妖风对帆的推动力 。

   

显然答案是$F=S\times P\times sin(\alpha)$。如果用$\overrightarrow{A}$表示风的向量$||\overrightarrow{A}||=P$，用$\overrightarrow n$表示帆的法向量，那么$\overrightarrow n$与风的夹角即为$\frac{\pi}{2}-\alpha$，那么此时$F=S·\overrightarrow A·\overrightarrow n$。

阅读更多...

https://arxiv.org/abs/2007.02133

https://github.com/chennnM/GCNII

Simple and Deep Graph Convolutional Networks

我的启发：

1. 这个方法存不存在什么弊端？
2. 收敛速度和节点度的关系今后能不能利用上？

阅读更多...

https://arxiv.org/abs/2002.12815

https://github.com/chauhanjatin10/GraphsFewShot

FEW-SHOT LEARNING ON GRAPHS VIA SUPER-CLASSES BASED ON GRAPH SPECTRAL MEASURES

个人见解：

1. 小样本在图领域的应用暂时还是个比较新的方向，可能主要有两个方向：一是将已经成熟的小样本训练方法（比如元学习、半监督等等）缝合到最近一些比较好的图学习方法中；二是对图学习方法进行改造，使其适合小样本场景。
2. 本文作者一方面将小样本中的一种训练策略“initialization based strategy”引入到图学习中，另一方面对图学习算法进行改进，作者认为某个样本类别数量很少时，在做消息传播时，如果图神经网络层数比较浅，那么该类别样本很难影响到大范围的其他节点，因此作者提出了一种计算超类并生成超图的方案使得图神经网络更适用于小样本场景。

阅读更多...

https://yangliang.github.io/pdf/aaai21.pdf

Why Do Attributes Propagate in Graph Convolutional Neural Networks，2021，AAAI

总结：本文偏理论一点，作者提出了一个图表示学习框架GRL，并基于此从数值优化角度（梯度下降和高阶近似）对GCN及其各种变体做出了解释。最后受共轭梯度法性能优于梯度下降法的启发，提出了图共轭卷积模型。

阅读更多...