論文標題:

DropPos: Pre-Training Vision Transformers by Reconstructing Dropped Positions

https://arxiv.org/pdf/2309.03576

https://github.com/Haochen-Wang409/DropPos

TL;DR

Motivation

• 對比 CL，DropPos 不需要精心設計的數(shù)據(jù)增強（例如 multi-crop）。
• 對比 MIM，DropPos 不需要精心設計的掩碼策略和重建目標。

Method

1. 如果簡單地把所有 PE 丟棄，讓模型直接重建每個 patch 的位置，會導致上下游的 discrepency。因為下游任務需要 PE，而上游預訓練的模型又完全沒見過 PE。
2. ViT 對于 long-range 的建模能力很強，這個簡單的位置重建任務可能沒辦法讓模型學到非常 high-level 的語義特征。

3. 看上去相似的不同 patch（例如純色的背景）的位置無需被精準重建，因此決定哪些 patch 的位置需要被重建非常關鍵。

1. 針對問題一，我們采用了一個簡單的隨機丟棄策略。每次訓練過程中丟棄 75% 的 PE，保留 25% 的 PE。
2. 針對問題二，我們采取了高比例的 patch mask，既能提高代理任務的難度，又能加快訓練的速度。
3. 針對問題三，我們提出了 position smoothing 和 attentive reconstruction 的策略。

3.1 DropPos 前向過程

3.2 Objective

Experiments

4.1 與其他方法的對比

4.2 消融實驗

1. 一般來說，更高的 position 重建精度會帶來更高的下游任務性能。
2. 上述結論存在例外：當 sigma = 0 時，即不做位置平滑時，位置預測精度高，而下游任務表現(xiàn)反而低；當 tau = inf 時，即不做 attentive reconstruction 時，位置預測精度高，而下游表現(xiàn)反而低。

3. 因此，過分關注于預測每一個 patch 的精確的位置，會導致局部最優(yōu)，對于下游任務不利。