昨天arXiv出現(xiàn)了好幾篇被CVPR 2019接收的論文。

其中來自微軟和中國科技大學(xué)研究學(xué)者的論文《Deep High-Resolution Representation Learning for Human Pose Estimation》和相應(yīng)代碼甫一公布，立刻引起大家的關(guān)注，不到一天之內(nèi)，github上已有將近50顆星。

今天就跟大家一起來品讀此文妙處。

該文作者信息：

該文為第一作者Ke Sun在微軟亞洲研究院實習(xí)期間發(fā)明的算法。

基本思想

作者觀察到，現(xiàn)有姿態(tài)估計算法中往往網(wǎng)絡(luò)會有先降低分辨率再恢復(fù)高分辨率的過程，比如下面的幾種典型網(wǎng)絡(luò)。

為便于表達(dá)，在下面的a、b、c、d四幅圖中，同一水平線上的特征圖為相同分辨率，越向下分辨率越小，在最終的高分辨率特征圖heatmap中計算姿態(tài)估計的關(guān)鍵點。

Hourglass

Cascaded pyramid networks

Simple baseline

Combined with dilated convolutions

其中的網(wǎng)絡(luò)結(jié)構(gòu)說明如下：

作者希望不要有這個分辨率恢復(fù)的過程，在網(wǎng)絡(luò)各個階段都存在高分辨率特征圖。

下圖簡潔明了地表達(dá)作者的思想。

在上圖中網(wǎng)絡(luò)向右側(cè)方向，深度不斷加深，網(wǎng)絡(luò)向下方向，特征圖被下采樣分辨率越小，相同深度高分辨率和低分辨率特征圖在中間有互相融合的過程。

作者描述這種結(jié)構(gòu)為不同分辨率子網(wǎng)絡(luò)并行前進。

關(guān)鍵點的heatmap是在最后的高分辨率特征圖上計算的。

網(wǎng)絡(luò)中不同分辨率子網(wǎng)絡(luò)特征圖融合過程如下：

主要是使用strided 3*3的卷積來下采樣和up sample 1*1卷積上采樣。

這么做有什么好處？

作者認(rèn)為：

1）一直維護了高分辨率特征圖，不需要恢復(fù)分辨率。

2）多次重復(fù)融合特征的多分辨率表示。

實驗結(jié)果

該算法在COCO姿態(tài)估計數(shù)據(jù)集的驗證集上測試結(jié)果：

與目前的state-of-the-art比較，取得了各個指標(biāo)的最高值。相同分辨率的輸入圖像，與之前的最好算法相比增長了3個百分點！

在COCO test-dev數(shù)據(jù)集上，同樣一騎絕塵！

在MPII test 數(shù)據(jù)集上，同樣取得了最好的結(jié)果！

作者進一步與之前最好模型比較了參數(shù)量、計算量，該文發(fā)明的HRNet-W32在精度最高的同時，計算量最低！

如下圖：

在PoseTrack2017姿態(tài)跟蹤數(shù)據(jù)集上的結(jié)果比較：

同樣取得了最好的結(jié)果。

下圖是算法姿態(tài)估計的結(jié)果示例：

（請點擊查看大圖）

不僅僅是姿態(tài)估計

作者在官網(wǎng)指出，深度高分辨率網(wǎng)絡(luò)不僅對姿態(tài)估計有效，也可以應(yīng)用到計算機視覺的其他任務(wù)，諸如語義分割、人臉對齊、目標(biāo)檢測、圖像分類中，期待更多具有說服力的結(jié)果公布。