【導(dǎo)讀】最近，香港科技大學(xué)、上海AI Lab等多個組織聯(lián)合發(fā)布了一篇時間序列無監(jiān)督預(yù)訓(xùn)練的文章，相比原來的TS2Vec等時間序列表示學(xué)習(xí)工作，核心在于提出了將空間信息融入到預(yù)訓(xùn)練階段，即在預(yù)訓(xùn)練階段考慮各個序列之間的關(guān)系。因此，本文提出的方法更適合作為時空預(yù)測領(lǐng)域的預(yù)訓(xùn)練模型。下面為大家詳細(xì)介紹一下這篇文章。

摘要

相關(guān)時間序列分析在許多現(xiàn)實行業(yè)中扮演著重要的角色。為進(jìn)一步的下游任務(wù)學(xué)習(xí)這個大規(guī)模數(shù)據(jù)的有效表示是必要的，但也具有挑戰(zhàn)性。在本文中，我們提出了一個通過時空引導(dǎo)表示預(yù)測的單個實例的時間步長級表示學(xué)習(xí)框架。我們評估了我們的表示學(xué)習(xí)框架在相關(guān)時間序列預(yù)測和將預(yù)測模型轉(zhuǎn)移到有限數(shù)據(jù)的新實例。在學(xué)習(xí)到的表示之上訓(xùn)練的線性回歸模型表明，我們的模型在大多數(shù)情況下表現(xiàn)最好。特別是與表示學(xué)習(xí)模型相比，我們在PeMS-BAY數(shù)據(jù)集上將RMSE、MAE和MAPE分別減少了37%、49%和48%。此外，在真實世界的地鐵客流數(shù)據(jù)中，我們的框架展示了傳輸以推斷新的冷啟動實例的未來信息的能力，收益分別為15%、19%和18%。

1 背景

近年來，許多關(guān)于時間序列自監(jiān)督學(xué)習(xí)方法的研究仍存在幾個顯著的缺點：

最近的研究[13, 14]只學(xué)實例級表示，不適合點級任務(wù)，如預(yù)測和異常檢測。盡管它們在許多時間序列下游任務(wù)（如分類和聚類）上成功。

當(dāng)前研究忽視不同實例間的相關(guān)性，學(xué)習(xí)相關(guān)時間序列的集成表示，難以轉(zhuǎn)移到現(xiàn)實世界的下游任務(wù)，例如子實例預(yù)測。

所有基于對比的方法（如TS2Vec）都對數(shù)據(jù)分布或?qū)嵗嚓P(guān)性做出假設(shè)，可能失去多樣性，并可能出現(xiàn)假陰性樣本。

(a)空間相關(guān)性：一個車站的客流通常受到其圖形鄰居的影響。

(b)每周周期模式的時間相關(guān)性與缺失數(shù)據(jù)問題

圖1：相關(guān)時間序列的時空相關(guān)性的一個例子：[1]、[2]地鐵站的乘客流入。(a)空間相關(guān)性：相鄰車站的客流通常都很相似。(b)時間相關(guān)性：一個車站的客流通常具有歷史時期的模式。此外，還觀察到缺失的數(shù)據(jù)。

為了解決這些挑戰(zhàn)，我們提出了一個通過時空引導(dǎo)的相關(guān)時間序列表示學(xué)習(xí)框架。本文的主要貢獻(xiàn)總結(jié)如下：

我們構(gòu)建了一個學(xué)習(xí)框架，用于學(xué)習(xí)任意實例在任何時間步長內(nèi)的點級表示。這具有靈活性，所學(xué)習(xí)到的表示法可以被微調(diào)用于1) 相關(guān)的時間序列預(yù)測，以及2) 用于新實例的轉(zhuǎn)移任務(wù)，而無需重新訓(xùn)練預(yù)測模型。為了捕捉空間和時間上的相關(guān)性，我們在自監(jiān)督學(xué)習(xí)框架中利用了來自預(yù)定義相鄰矩陣的歷史數(shù)據(jù)和相鄰信息。

為了避免在時間序列數(shù)據(jù)的對比學(xué)習(xí)范式中經(jīng)常出現(xiàn)的假陰性，我們在模型中加入了一個沒有負(fù)樣本的自監(jiān)督學(xué)習(xí)框架。我們定義了空間和時間目標(biāo)，并使用蒙版視圖來預(yù)測目標(biāo)的表示，以學(xué)習(xí)相關(guān)性。

我們根據(jù)實際數(shù)據(jù)不同下游任務(wù)的結(jié)果和分析，展示了表示學(xué)習(xí)框架的有效性和靈活性。我們對預(yù)測任務(wù)的評估顯示了具有可比性能的端到端解決方案，但我們的方法更靈活，可以轉(zhuǎn)移到進(jìn)入數(shù)據(jù)集的新實例，而無需重新訓(xùn)練模型。

2 相關(guān)工作

2.1預(yù)文本任務(wù)時間序列學(xué)習(xí)

通過設(shè)計各種預(yù)文本任務(wù)來提取有用的信息，以幫助模型在下游任務(wù)中表現(xiàn)良好。這些預(yù)文本任務(wù)包括遮蓋序列的重構(gòu)、相對定位、時間洗牌和對比預(yù)測編碼任務(wù)等。這些任務(wù)的目的是學(xué)習(xí)時間序列的有效表示，以便在下游任務(wù)中獲得更好的性能。此外，還有其他的預(yù)文本任務(wù)，如引導(dǎo)空間時間表示預(yù)測等。

2.2基于對比的時間序列學(xué)習(xí)

基于對比的時間序列學(xué)習(xí)是一種時間序列表示學(xué)習(xí)的方法，其中大多數(shù)方法都采用對比學(xué)習(xí)框架。這些方法通過構(gòu)建正負(fù)樣本對來進(jìn)行自監(jiān)督學(xué)習(xí)，其中對比損失試圖最大化正樣本對之間的相似性，同時最小化負(fù)樣本對之間的相似性。先前的研究提出了許多方法來選擇正負(fù)樣本對，以提高所學(xué)習(xí)表示的質(zhì)量。這些方法包括使用三元組損失隨機(jī)選擇時間段、使用對比預(yù)測編碼(CPC)等。這些方法的目的是學(xué)習(xí)時間序列的有效表示，以便在下游任務(wù)中獲得更好的性能。

3 方法

這邊主要介紹提出的模型框架。該模型的編碼器由三個組件組成：輸入投影層、擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)模塊和MLP預(yù)測器。對于每個輸入w，輸入投影層是一個全連接層，將時間戳t的觀測值xi,t映射到高維潛在向量z。然后，應(yīng)用具有十個殘差塊的擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)模塊來提取每個時間戳的上下文表示。每個擴(kuò)張卷積塊包含兩個1-D卷積層，具有擴(kuò)張參數(shù)（對于第l個塊為2的l次方）。擴(kuò)張卷積使不同領(lǐng)域具有大的感受野。在BYOL的思想下，通過預(yù)測視圖的不同目標(biāo)而不是對比來學(xué)習(xí)表示。在視圖和目標(biāo)通過全連接層f映射到高維潛在向量之后，使用兩個擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)預(yù)測器來預(yù)測從遮蓋視圖嵌入的潛在向量中的時空表示。

圖2：提出的一種相關(guān)時間序列的表示學(xué)習(xí)框架：主干由一個投影到高維空間的線性層，兩個具有不同參數(shù)的擴(kuò)張卷積編碼器和一個用于根據(jù)蒙版視圖嵌入的潛在向量來預(yù)測時空表示的預(yù)測器組成。

4實驗結(jié)果

4.1相關(guān)的時間序列預(yù)測

下圖為本文提出的表示學(xué)習(xí)方法在時空預(yù)測數(shù)據(jù)集上的預(yù)測效果，可以看到相比TS2Vec，我們的方法有比較明顯的效果提升。這足以說明我們提出的引入空間信息的對比學(xué)習(xí)，對于時空預(yù)測類型的問題效果更好。

表1：所提方法和基線MAE、MAPE和RMSE（最好的加粗表示，下同）

我們在PEMS-BAY數(shù)據(jù)集上的性能優(yōu)于基于時空圖的神經(jīng)網(wǎng)絡(luò)對PEMS-BAY數(shù)據(jù)集的短期預(yù)測。我們可以看到，與TS2Vec相比，我們的模型有更好的預(yù)測趨勢。

圖3.我們的模型和TS2Vec的一個典型預(yù)測切片可視化。

4.2 冷啟動——將模型轉(zhuǎn)移到數(shù)據(jù)有限的新實例

如圖4所示，由于新的地鐵站的建設(shè)，地鐵網(wǎng)絡(luò)圖結(jié)構(gòu)會發(fā)生變化，同時這些新的地鐵站通常只有很少的歷史數(shù)據(jù)可用，因此預(yù)測它們的未來客流量會變得更加困難，這就是時間序列預(yù)測的"cold-start"問題。我們提出的方法在大多數(shù)情況下都取得了最好的預(yù)測性能（表2）。

圖4新建地鐵站數(shù)據(jù)有限，也改變地鐵網(wǎng)絡(luò)圖（綠色突出顯示） 表2：新車站的城市地鐵：擬建方法的MAE、MAPE、RMSE及基線。

4.3 消融研究

為了驗證我們的模型中時間和空間成分的有效性，我們比較了在METRLA數(shù)據(jù)集上不同超參數(shù)α值的模型性能。我們將α的值從0→1，時間間隔為0.25，其中α = 1意味著我們只使用歷史信息，而α = 0意味著我們只考慮空間依賴性。

表3：METR-LA對α不同值的消融結(jié)果

表3顯示，當(dāng)α=為0.5時，我們的模型在短期預(yù)測中表現(xiàn)最好。當(dāng)時間目標(biāo)的貢獻(xiàn)大于空間目標(biāo)時，或當(dāng)α=值為0.75時，該模型的長期預(yù)測效果更好。

4.4 對丟失的數(shù)據(jù)具有魯棒性

我們以METR-LA數(shù)據(jù)集為例，以三個缺失率、20%、40%和60%的隨機(jī)缺失數(shù)據(jù)來評估預(yù)測性能。圖5顯示，在缺失率小于60%的情況下，我們的空間和時間目標(biāo)都是非常穩(wěn)健的。請注意，對于較小的α，如α = 0.25，預(yù)測性能比α = 0.75穩(wěn)定。這表明空間目標(biāo)的設(shè)計可以提高表示學(xué)習(xí)框架的魯棒性。

圖5：METR-LA數(shù)據(jù)集對不同缺失數(shù)據(jù)率和α的MAE