電子發(fā)燒友App
01 GNN：從嘗鮮進(jìn)入快速爆發(fā)期
今年以來(lái)，圖神經(jīng)網(wǎng)絡(luò)技術(shù)(Graph Neural Network， GNN)得到了學(xué)術(shù)界極大的關(guān)注與響應(yīng)。各大學(xué)術(shù)會(huì)議紛紛推出 GNN 相關(guān)的 workshop，在投中的論文中，以 Graph Network 為關(guān)鍵詞的論文數(shù)量也呈現(xiàn)井噴之勢(shì)，下圖給出了近三年，上述關(guān)鍵詞在各學(xué)術(shù)會(huì)議上的增長(zhǎng)趨勢(shì)：
GNN 在經(jīng)歷過(guò) 2017-2018 年兩年的孕育期與嘗試期之后，在 2018 年末至今的一年多時(shí)間里，迎來(lái)了快速爆發(fā)期。從理論研究到應(yīng)用實(shí)踐，可謂是遍地開(kāi)花，讓人應(yīng)接不暇。
在理論研究上，GNN 的原理解釋、變體模型以及對(duì)各種圖數(shù)據(jù)的拓展適配等工作成為了主流。而在應(yīng)用實(shí)踐上，GNN 更是展現(xiàn)出了前所未有的滲透性，從視覺(jué)推理到開(kāi)放性的閱讀理解問(wèn)題，從藥物分子的研發(fā)到 5G 芯片的設(shè)計(jì)，從交通流量預(yù)測(cè)到 3D 點(diǎn)云數(shù)據(jù)的學(xué)習(xí)，我們看到了 GNN 極其廣闊的應(yīng)用前景。
本文將對(duì)近一年各大頂級(jí)會(huì)議(如 ICML、NIPS、CVPR、ACL、KDD 等)上的 GNN 相關(guān)論文進(jìn)行梳理，重點(diǎn)從理論研究和應(yīng)用實(shí)踐兩方面解讀過(guò)去一年 GNN 的進(jìn)展。由于時(shí)間和篇幅有限，本文并沒(méi)有對(duì)每一個(gè)方向都進(jìn)行全面的總結(jié)與概括，感興趣的讀者可以根據(jù)文中給出的論文鏈接自行查漏補(bǔ)缺。
02 GNN 的原理、變體及拓展
GNN 作為一個(gè)新興的技術(shù)方向，其原理解讀以及各類(lèi)變體與拓展構(gòu)成了理論研究的熱點(diǎn)，這些論文很好地回答了 GNN 的優(yōu)缺點(diǎn)以及相關(guān)的適應(yīng)性改造問(wèn)題。
1. GNN 原理解讀
當(dāng)前 GNN 研究的第一個(gè)熱點(diǎn)在于其相關(guān)能力的理論化研究。在 “How Powerful are Graph Neural Networks?” 和 “On the equivalence between graph isomorphism testing and function approximation with GNNs” 中，都對(duì) GNN 在圖同構(gòu)問(wèn)題上的表現(xiàn)進(jìn)行了探討。
圖同構(gòu)問(wèn)題是辨別給定的兩個(gè)圖是否一致，同構(gòu)圖如下圖所示。這個(gè)問(wèn)題考驗(yàn)了算法對(duì)圖數(shù)據(jù)結(jié)構(gòu)的辨別能力，這兩篇文章都證明了 GNN 模型具有出色的結(jié)構(gòu)學(xué)習(xí)能力。
圖中天然包含了關(guān)系，因此許多 GNN 相關(guān)的工作就建立在對(duì)給定系統(tǒng)進(jìn)行推理學(xué)習(xí)的研究上，在這些研究中，“Can graph neural networks help logic reasoning? ” 和 “The Logical Expressiveness of Graph Neural Networks” 論證了 GNN 在邏輯推理上的優(yōu)秀表現(xiàn)?！癆ll We Have is Low-Pass Filters ” 從低通濾波的層面解釋了 GNN 的有效性。
這些原理解讀，有助于我們對(duì) GNN 的特色專(zhuān)長(zhǎng)建立一種更加清晰的認(rèn)識(shí)。
2. GNN 的各類(lèi)變體
GNN 模型的相關(guān)變體研究是領(lǐng)域內(nèi)的另一個(gè)熱點(diǎn)，這些變體在一些方面提升了 GNN 的能力表現(xiàn)。我們知道 GCN 模型來(lái)源于圖信號(hào)上的傅里葉變換，“Graph Wavelet Neural Network” 引入了圖信號(hào)上的小波變換來(lái)改造 GCN 模型，將卷積計(jì)算變換到空域局部鄰域內(nèi)。
將數(shù)據(jù)表征從歐式空間轉(zhuǎn)化到雙曲空間，不僅能獲得更好地層次化表示，同時(shí)能大大節(jié)約空間維度，“Hyperbolic Graph Convolutional Neural Networks”和 “Hyperbolic Attention Networks” 同時(shí)將 GNN 拓展到了雙曲空間上去。
在 “MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing” 和 “Diffusion Improves Graph Learning”中，同時(shí)將原始 GCN 中的鄰居定義由一階拓展到高階，強(qiáng)化了模型低通濾波的特性。
3. GNN 在各類(lèi)圖數(shù)據(jù)及任務(wù)上的拓展
圖數(shù)據(jù)是一個(gè)種類(lèi)繁多的數(shù)據(jù)家族，模型對(duì)這些不同類(lèi)型的數(shù)據(jù)如何適配，是 GNN 發(fā)展的另一重要方向。下表給出了相應(yīng)的概括：
| 圖類(lèi)型 | 相關(guān)說(shuō)明 | 對(duì)應(yīng)論文 |
|---|---|---|
| 屬性圖 | 多種節(jié)點(diǎn)類(lèi)型，節(jié)點(diǎn)包含屬性，最具代表性 | [1] [2] |
| 超圖 | 一條邊同時(shí)連接兩個(gè)以上節(jié)點(diǎn) | [3] |
| 動(dòng)態(tài)圖 | 圖結(jié)構(gòu)隨時(shí)間演化 | [4] |
| 隱式圖 | 節(jié)點(diǎn)之間沒(méi)有顯式邊，需要先學(xué)習(xí)圖的結(jié)構(gòu) |
[5] [6] ? |
[1]: HetGNN: Heterogeneous Graph Neural Network
https://www.kdd.org/kdd2019/accepted-papers/view/hetgnn-heterogeneous-graph-neural-network
[2]: Representation Learning for Attributed Multiplex Heterogeneous Network
https://arxiv.org/abs/1905.01669
[3]: HyperGCN: A New Method For Training Graph Convolutional Networks>https://arxiv.org/abs/1809.02589
[4]: DyRep: Learning Representations over Dynamic Graphs
https://openreview.net/pdf?id=HyePrhR5KX
[5]: Semi-supervised Learning with Graph Learning-Convolutional Networks
http://openaccess.thecvf.com/content_CVPR_2019/papers/Jiang_Semi-Supervised_Learning_With_Graph_Learning-Convolutional_Networks_CVPR_2019_paper.pdf
[6]: Learning Discrete Structures for Graph Neural Networks
https://arxiv.org/abs/1903.11960
在圖數(shù)據(jù)相關(guān)的任務(wù)上，圖的分類(lèi)是一個(gè)重要而又未完全解決好的問(wèn)題，其難處在于如何在圖數(shù)據(jù)上實(shí)現(xiàn)層次化的池化操作從而獲得圖的全局表示，“Graph Convolutional Networks with EigenPooling”中給出了一種新的操作思路。
03 GNN 相關(guān)應(yīng)用
近幾年，以深度學(xué)習(xí)為代表的人工智能技術(shù)給產(chǎn)業(yè)界帶來(lái)了新的變革。該技術(shù)在視覺(jué)、語(yǔ)音、文本三大領(lǐng)域取得了極大的應(yīng)用成果，這種成功，離不開(kāi)深度學(xué)習(xí)技術(shù)對(duì)這三類(lèi)數(shù)據(jù)定制化的模型設(shè)計(jì)工作。
脫離于這三類(lèi)數(shù)據(jù)之外，圖數(shù)據(jù)是一種更加廣泛的數(shù)據(jù)表示方式，夸張地說(shuō)，沒(méi)有任何一個(gè)場(chǎng)景中的數(shù)據(jù)彼此之間是孤立存在的，這些數(shù)據(jù)之間的關(guān)系都可以以圖的形式進(jìn)行表達(dá)。下圖給出了一些圖數(shù)據(jù)的使用場(chǎng)景：
如何將圖數(shù)據(jù)的學(xué)習(xí)與深度學(xué)習(xí)技術(shù)進(jìn)行深度結(jié)合成為了一個(gè)迫切且緊要的需求。在這樣的背景之下，圖神經(jīng)網(wǎng)絡(luò)技術(shù)的興起恰似一股東風(fēng)，第一次使得我們看到了深度學(xué)習(xí)應(yīng)用到圖數(shù)據(jù)之上的曙光。
實(shí)際上，在最近一年，GNN 的應(yīng)用場(chǎng)景不斷延伸，覆蓋了計(jì)算機(jī)視覺(jué)、3D 視覺(jué)、自然語(yǔ)言處理、科研、知識(shí)圖譜、推薦、反欺詐等場(chǎng)景，下面我們將逐項(xiàng)概括。
1. 計(jì)算機(jī)視覺(jué)
在前幾年跨越了視覺(jué)識(shí)別的大門(mén)之后，推理相關(guān)的視覺(jué)任務(wù)已經(jīng)成為了了各大 CV 頂會(huì)的主要關(guān)注點(diǎn)，如：視覺(jué)問(wèn)答、視覺(jué)推理、語(yǔ)義圖合成、human-object interaction 等，甚至如視覺(jué)的基礎(chǔ)任務(wù)，目標(biāo)檢測(cè)也需要用到推理來(lái)提升性能。在這些任務(wù)中，已經(jīng)大量出現(xiàn)應(yīng)用 GNN 的相關(guān)工作。
下面我們以最常見(jiàn)的視覺(jué)問(wèn)答任務(wù)舉例說(shuō)明，在“Relation-Aware Graph Attention Network for Visual Question Answering”一文中，給出了將 GNN 與視覺(jué)模型結(jié)合的示意圖：
在上圖中，視覺(jué)模型的作用是提取給定圖像中的語(yǔ)義區(qū)域，這些語(yǔ)義區(qū)域與問(wèn)題一并當(dāng)做圖中的節(jié)點(diǎn)，送到一個(gè) GNN 模型中進(jìn)行推理學(xué)習(xí)，這樣的一種建模方式，可以更加有效地在視覺(jué)問(wèn)答中對(duì)問(wèn)題進(jìn)行自適應(yīng)地推理。
另外一個(gè)有意思的場(chǎng)景是少樣本或零樣本學(xué)習(xí)，由于這類(lèi)場(chǎng)景下樣本十分缺乏，如何充分挖掘樣本之間的潛在關(guān)聯(lián)信息(比如標(biāo)簽語(yǔ)義關(guān)聯(lián)、潛層表達(dá)關(guān)聯(lián))就成為了一個(gè)至關(guān)重要的考量因素，引入 GNN 成為了一個(gè)非常自然的動(dòng)作，相關(guān)工作有“Rethinking Knowledge Graph Propagation for Zero-Shot Learning”“Edge-labeling Graph Neural Network for Few-shot Learning”。
2. 3D 視覺(jué)
3D 視覺(jué)是計(jì)算機(jī)視覺(jué)的又一重要發(fā)展方向，世界是 3D 的，如何讓計(jì)算機(jī)理解 3D 世界，具有極其重要的現(xiàn)實(shí)價(jià)值。3D 視覺(jué)中，點(diǎn)云數(shù)據(jù)是一種十分常見(jiàn)的數(shù)據(jù)表示方法。
點(diǎn)云數(shù)據(jù)通常由一組坐標(biāo)點(diǎn)(x,y,z)表示，這種數(shù)據(jù)由于映射了現(xiàn)實(shí)世界中物體的特征，因此存在一種內(nèi)在的表征物體語(yǔ)義的流行結(jié)構(gòu)，這種結(jié)構(gòu)的學(xué)習(xí)也是 GNN 所擅長(zhǎng)的。
需要說(shuō)明一點(diǎn)的是，在 3D 視覺(jué)中流行的是幾何學(xué)習(xí) Geometry Learning，當(dāng)下，幾何學(xué)習(xí)與 GNN 在一些場(chǎng)景如點(diǎn)云分割、點(diǎn)云識(shí)別等正在深度融合，相關(guān)論文有 “Graph Attention Convolution for Point Cloud Segmentation”“Semantic Graph Convolutional Networks for 3D Human Pose Regression”。
3. 自然語(yǔ)言處理
GNN 與 NLP 的結(jié)合，關(guān)鍵點(diǎn)也在于 GNN 優(yōu)秀的推理能力。GNN 在一些場(chǎng)景如：閱讀理解、實(shí)體識(shí)別與關(guān)系抽取、依存句法分析中都有應(yīng)用。
下面我們以多跳閱讀(Multi-hop reading)為例，多跳閱讀是說(shuō)在閱讀理解的過(guò)程中，往往需要在多篇文檔之間進(jìn)行多級(jí)跳躍式的關(guān)聯(lián)與推理，才能找到正確答案，相比較以前的單文檔問(wèn)答數(shù)據(jù)集，這是一個(gè)更具有開(kāi)放性與挑戰(zhàn)性的推理任務(wù)。下圖給出了多跳閱讀的樣例：
在“Cognitive Graph for Multi-Hop Reading Comprehension at Scale”一文中，作者基于 BERT 和 GNN 的實(shí)現(xiàn)可有效處理 HotPotQA 數(shù)據(jù)集中有關(guān)多跳閱讀問(wèn)題的數(shù)百萬(wàn)份文檔，在排行榜上的聯(lián)合 F1 得分為 34.9，而第二名的得分只有 23.6。
4. 科研場(chǎng)景
如果我們把原子看做圖中的節(jié)點(diǎn)、化學(xué)鍵看做邊，那么分子就可以表征為一張圖。這種以圖來(lái)表示分子的方法，可以將 GNN 結(jié)合到很多實(shí)際的科研場(chǎng)景中，如蛋白質(zhì)相互作用點(diǎn)預(yù)測(cè)、化學(xué)反應(yīng)產(chǎn)物預(yù)測(cè)等，這些場(chǎng)景有利于將深度學(xué)習(xí)的快速擬合能力帶入進(jìn)藥物研發(fā)、材料研發(fā)等行業(yè)中去，提升研發(fā)效率。
在“Circuit-GNN: Graph Neural Networks for Distributed Circuit Design”一文中，作者將 GNN 結(jié)合進(jìn)高頻電路設(shè)計(jì)(如 5G 芯片等)場(chǎng)景，大大提升了電路電磁特性仿真計(jì)算的效率。下圖給出了系統(tǒng)示意圖：
5. 知識(shí)圖譜
由于知識(shí)圖譜本身就是一種圖數(shù)據(jù)，因此知識(shí)圖譜 +GNN 的組合自然就成了解決各類(lèi)知識(shí)圖譜問(wèn)題的新手段。關(guān)系補(bǔ)全或預(yù)測(cè)問(wèn)題是知識(shí)圖譜的一大基礎(chǔ)任務(wù)，通過(guò)關(guān)系的推理補(bǔ)全可以大大提升知識(shí)圖譜的應(yīng)用質(zhì)量，下圖給出了關(guān)系補(bǔ)全的一個(gè)實(shí)例：
在論文“Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs”中，作者選擇用 GNN 對(duì)知識(shí)圖譜進(jìn)行建模，相比之前基于單獨(dú)三元組關(guān)系的推理，基于 GNN 的方法可以更好地捕捉三元組鄰域復(fù)雜而隱含的模式信息，這種優(yōu)勢(shì)對(duì)完成關(guān)系補(bǔ)全任務(wù)具有十分重要的作用。
實(shí)體對(duì)齊是知識(shí)圖譜的另一類(lèi)任務(wù)，給定多個(gè)知識(shí)圖譜，需要首先確定各自圖譜中的哪些實(shí)體描述的是同一個(gè)對(duì)象，完成這項(xiàng)工作才能正確地將它們合成一個(gè)大的知識(shí)圖譜。論文“Multi-Channel Graph Neural Network for Entity Alignment”提出了一種基于 GNN 的實(shí)體對(duì)齊方案，實(shí)驗(yàn)表明，在多個(gè)數(shù)據(jù)集上，該方案均取得了最好的效果。
近幾年，知識(shí)圖譜在工業(yè)界聲勢(shì)日隆，在這種語(yǔ)境下，我們也稱(chēng)知識(shí)圖譜為業(yè)務(wù)圖譜，在論文“Estimating Node Importance in Knowledge Graphs Using Graph Neural Networks”中，作者成功運(yùn)用 GNN 技術(shù)對(duì)電影業(yè)務(wù)圖譜進(jìn)行建模，在電影流行度預(yù)測(cè)上效果表現(xiàn)十分出色。
另外，知識(shí)圖譜與推薦系統(tǒng)結(jié)合也成了近期一個(gè)比較熱門(mén)的方向，這部分可參考下一節(jié)推薦系統(tǒng)中的講解。
6. 推薦系統(tǒng)
推薦是各大互聯(lián)網(wǎng)公司十分重要的營(yíng)收手段，因此一直以來(lái)備受工業(yè)界與學(xué)術(shù)界雙重關(guān)注。過(guò)去這幾年，推薦系統(tǒng)由早期的協(xié)同過(guò)濾算法發(fā)展到 MF 模型、再到之后的 Wide&Deep，以及基于 Network Embedding 的方法，可以明顯地看到基于神經(jīng)網(wǎng)絡(luò)的方法正在逐漸占據(jù)主要位置，而 GNN 的出現(xiàn)，又一次大大加速了這個(gè)技術(shù)趨勢(shì)。
以電商平臺(tái)的推薦為例，推薦系統(tǒng)的核心數(shù)據(jù)在于用戶(hù) - 商品交互的二部圖，而基于神經(jīng)網(wǎng)絡(luò)的多數(shù)方法將二部圖中的實(shí)體映射到一個(gè)合適的向量空間中去，使得在圖上距離越近的兩個(gè)實(shí)體在向量空間中的距離也越近，如下圖所示：
GNN 本身是一種深度模型，與推薦系統(tǒng)結(jié)合之后，多層 GNN 模型可以更好地捕捉用戶(hù)與商品之間的高階協(xié)同關(guān)系，論文“Neural Graph Collaborative Filtering”中，作者論證了多層 GNN 所帶來(lái)的“Deep”與“High order”效益對(duì)推薦質(zhì)量的有效提升。
除了推薦系統(tǒng)算法模型本身的研究，另一種思路在于如何使推薦系統(tǒng)有效融合進(jìn)額外的信息，如用戶(hù)端社交網(wǎng)絡(luò)的信息、商品端商品知識(shí)圖譜的信息。這類(lèi)信息中通常也蘊(yùn)含了極強(qiáng)的關(guān)系，因此可以非常自然地與用戶(hù) - 商品二部圖合在一起構(gòu)成一個(gè)更大的異構(gòu)圖。下圖給出了與電影知識(shí)圖譜的結(jié)合示意圖：
圖片來(lái)源 https://arxiv.org/pdf/1902.06236.pdf
有了這樣的圖數(shù)據(jù)抽象之后，引進(jìn) GNN 進(jìn)行推薦建模也就成了一種自然的選擇，相關(guān)論文有 KGAT:“ Knowledge Graph Attention Network for Recommendation”“Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation”“Session-based Social Recommendation via Dynamic Graph Attention Networks”等。
另外一個(gè)十分重要的、也與推薦系統(tǒng)息息相關(guān)相關(guān)的業(yè)務(wù)場(chǎng)景是廣告點(diǎn)擊率(CTR)預(yù)測(cè)。該場(chǎng)景下的樣本通常是由多領(lǐng)域的特征數(shù)據(jù)構(gòu)成，比如用戶(hù)域、設(shè)備域、廣告域等等，如何建模這些數(shù)據(jù)域之間的特征交互，成為了該任務(wù)的核心。
最近基于神經(jīng)網(wǎng)絡(luò)的方法都是直接將各個(gè)域之間的特征拼接起來(lái)然后送到上層的網(wǎng)絡(luò)模型中，以期得到這些域之間的高階交互，這種簡(jiǎn)單的非結(jié)構(gòu)化的拼接方式，會(huì)大大限制模型的學(xué)習(xí)能力。
在“Fi-GNN: Modeling Feature Interactions via Graph Neural Networks for CTR Prediction”一文中，作者將各個(gè)域之間以圖的形式連接起來(lái)(下圖中的 Feature graph)，然后用 GNN 建模各個(gè)特征域之間高階復(fù)雜的交互關(guān)系，相比之前的模型取得了最好效果。
7. 反欺詐
反欺詐業(yè)務(wù)是各大公司保證運(yùn)營(yíng)業(yè)務(wù)與營(yíng)銷(xiāo)業(yè)務(wù)正常開(kāi)展的前提，通常我們所面臨的欺詐問(wèn)題包括：垃圾評(píng)論、排名欺詐、交易欺詐、薅羊毛、賬戶(hù)盜用等。這些欺詐現(xiàn)象的背后往往是黑產(chǎn)團(tuán)伙協(xié)同作案，大大提高了反欺詐業(yè)務(wù)的打擊成本。
關(guān)系數(shù)據(jù)的挖掘是絕大部分反欺詐業(yè)務(wù)開(kāi)展最重要的技術(shù)視角，不論是基于欺詐風(fēng)險(xiǎn)傳播的關(guān)聯(lián)分析還是基于黑產(chǎn)團(tuán)伙模式的結(jié)構(gòu)化挖掘，圖都是反欺詐業(yè)務(wù)人員的首選工具。
在這樣的背景下，GNN 也變得極有發(fā)揮空間。例如，論文“Heterogeneous Graph Neural Networks for Malicious Account Detection”中運(yùn)用 GNN 對(duì)支付寶欺詐用戶(hù)進(jìn)行識(shí)別檢測(cè)，“Spam Review Detection with Graph Convolutional Networks”中運(yùn)用 GNN 對(duì)咸魚(yú)上的評(píng)論進(jìn)行欺詐識(shí)別。
04 GNN 開(kāi)源項(xiàng)目總結(jié)
在 2019 年，圖領(lǐng)域出現(xiàn)了不少新的開(kāi)源項(xiàng)目，一些已有的開(kāi)源項(xiàng)目也有較大的改善。
1 月，阿里媽媽開(kāi)源了國(guó)內(nèi)首個(gè)支持工業(yè)級(jí)圖深度學(xué)習(xí)的框架 Euler，內(nèi)置很多實(shí)用的圖算法。項(xiàng)目地址：
https://github.com/alibaba/euler
3 月，德國(guó)多特蒙德工業(yè)大學(xué)的學(xué)者們提出了 Pytorch Geometric ，實(shí)現(xiàn)了諸多 GNN 的變體模型，上線(xiàn)之后獲得了大佬 Yann LeCun 的推薦。項(xiàng)目地址：
https://github.com/rusty1s/pytorch_geometric
5 月，著名圖學(xué)習(xí)框架 DGL 發(fā)布 v0.3 版本(目前已經(jīng)更新至 0.4.1 版本，也補(bǔ)齊了很多 GNN 的變體模型)，0.3 版本在性能上有了非常顯著的提升，相比 0.2 版本訓(xùn)練速度提高了 19 倍，同時(shí)支持億級(jí)規(guī)模的圖神經(jīng)網(wǎng)絡(luò)訓(xùn)練。項(xiàng)目地址：
https://github.com/dmlc/dgl
12 月，斯坦福大學(xué)的 Jure Leskovec 教授在 NeurlPS 2019 大會(huì)演講中宣布開(kāi)源 Open Graph Benchmark，通過(guò)這一數(shù)據(jù)集可以更好地評(píng)估模型性能等方面的指標(biāo)。項(xiàng)目地址：
http://ogb.stanford.edu
同月，清華大學(xué)知識(shí)工程研究室(KEG)推出了大規(guī)模圖表示學(xué)習(xí)工具包 CogDL，可以讓研究者和開(kāi)發(fā)者更加方便地訓(xùn)練和對(duì)比用于節(jié)點(diǎn)分類(lèi)、鏈路預(yù)測(cè)以及其他圖任務(wù)的基準(zhǔn)或定制模型。項(xiàng)目地址：
https://github.com/THUDM/cogdl/
除了上述的項(xiàng)目，GitHub 上圖相關(guān)的兩個(gè)論文項(xiàng)目也很不錯(cuò)，總結(jié)了近年來(lái)各大頂會(huì)所有相關(guān)論文，收錄非常及時(shí)全面，推薦大家關(guān)注：
https://github.com/naganandy/graph-based-deep-learning-literature
https://github.com/DeepGraphLearning/LiteratureDL4Graph
05 展望
展望來(lái)年，最可以確定的一點(diǎn)是 GNN 依然會(huì)保持如今快速發(fā)展的態(tài)勢(shì)。從理論研究上看，不斷解構(gòu) GNN 相關(guān)的原理、特色與不足，進(jìn)而提出相應(yīng)地改進(jìn)與拓展，是非常值得我們關(guān)注的部分。
另外，關(guān)于一直以來(lái)研究 GNN 所用的標(biāo)準(zhǔn)數(shù)據(jù)集，如 Cora、PubMed，這些數(shù)據(jù)集場(chǎng)景單一、異構(gòu)性不足，難以對(duì)復(fù)雜的 GNN 模型進(jìn)行準(zhǔn)確評(píng)價(jià)，針對(duì)這一問(wèn)題，近期斯坦福大學(xué)等開(kāi)源的 OGB 標(biāo)準(zhǔn)數(shù)據(jù)集有望大大改善這個(gè)現(xiàn)狀，在新的評(píng)價(jià)體系下，哪些工作能夠脫穎而出，且讓我們拭目以待。
在應(yīng)用場(chǎng)景上，相信 GNN 能夠帶給我們更加亮眼的工作，除了在視覺(jué)推理、點(diǎn)云學(xué)習(xí)、關(guān)系推理、科研、知識(shí)圖譜、推薦、反欺詐等領(lǐng)域有廣泛應(yīng)用外，在其他的一些場(chǎng)景，如交通流量預(yù)測(cè)、醫(yī)療影像、組合優(yōu)化等，也出現(xiàn)了一些 GNN 相關(guān)的工作。
大體上看，如何準(zhǔn)確有效地將圖數(shù)據(jù)與 GNN 二者有機(jī)結(jié)合到相關(guān)場(chǎng)景，是應(yīng)用上需要著重考慮的事情，相信來(lái)年，會(huì)出現(xiàn)更多這樣的工作來(lái)拓展 GNN 的應(yīng)用邊界。
工商網(wǎng)監(jiān)
評(píng)論