RM新时代网站-首页

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

DIMP:Learning Discriminative Model Prediction for Tracking 學(xué)習(xí)判別模型預(yù)測(cè)的跟蹤

jf_96884364 ? 來(lái)源:代碼的路 ? 作者:代碼的路 ? 2023-01-12 09:28 ? 次閱讀

原文鏈接

論文地址:https://arxiv.org/pdf/1904.07220v1.pdf

代碼:pytracking 中有 dimp 的代碼

摘要

與大多數(shù)其他視覺(jué)問(wèn)題相比,跟蹤需要在推理階段在線學(xué)習(xí)魯棒的特定于目標(biāo)的外觀模型。為了能夠進(jìn)行端到端的培訓(xùn),目標(biāo)模型的在線學(xué)習(xí)因此需要自身嵌入到跟蹤體系結(jié)構(gòu)中。由于這些困難,流行的孿生網(wǎng)絡(luò)僅預(yù)測(cè)了目標(biāo)特征模板。但是,這種模型由于無(wú)法集成背景信息而具有有限的判別能力。

我們開(kāi)發(fā)了一種端到端的跟蹤體系結(jié)構(gòu),能夠充分利用目標(biāo)和背景外觀信息來(lái)進(jìn)行目標(biāo)模型預(yù)測(cè)。通過(guò)設(shè)計(jì)專(zhuān)用的優(yōu)化過(guò)程(僅需幾次迭代即可預(yù)測(cè)功能強(qiáng)大的模型),我們的體系結(jié)構(gòu)源自有區(qū)別的學(xué)習(xí)損失。此外,我們的方法能夠?qū)W習(xí)判別損失本身的關(guān)鍵方面。我們的跟蹤器在6個(gè)跟蹤基準(zhǔn)上設(shè)置了最新技術(shù),在VOT2018上EAO得分0.440,運(yùn)行40FPS。

1.簡(jiǎn)介

目前孿生網(wǎng)絡(luò)學(xué)習(xí)框架仍受到嚴(yán)重限制。首先,孿生網(wǎng)絡(luò)跟蹤者僅在推斷模型時(shí)利用目標(biāo)外觀。這完全忽略了背景外觀信息,這對(duì)于將目標(biāo)與場(chǎng)景中的相似對(duì)象區(qū)分開(kāi)來(lái)至關(guān)重要(請(qǐng)參見(jiàn)圖1)。其次,所學(xué)習(xí)的相似性度量對(duì)于未包含在離線訓(xùn)練集中的對(duì)象不一定是可靠的,從而導(dǎo)致沒(méi)有泛化能力。第三,大部分孿生網(wǎng)絡(luò)不能更新模型,有更新的算法求助于簡(jiǎn)單的模板平均(DA-SiamRPN,干擾物感知模型,到跟蹤幀時(shí),模板z和當(dāng)前位置 p_k 計(jì)算相似度之后,減去當(dāng)前位置與檢測(cè)幀中其他位置的相似度的加權(quán)和,可以更新模型提高精度)。與其他最新跟蹤方法相比,這些局限性導(dǎo)致魯棒性較差。

在這項(xiàng)工作中,我們引入了一種以端到端的方式訓(xùn)練的替代跟蹤體系結(jié)構(gòu),該體系結(jié)構(gòu)直接解決了所有上述限制。在我們的設(shè)計(jì)中,我們從判別性學(xué)習(xí)(Discriminative Learning Loss)過(guò)程中汲取了靈感。我們的方法基于目標(biāo)模型預(yù)測(cè)網(wǎng)絡(luò),該網(wǎng)絡(luò)是通過(guò)應(yīng)用迭代優(yōu)化過(guò)程從判別性學(xué)習(xí)損失中得出的。該體系結(jié)構(gòu)可以進(jìn)行有效的端到端訓(xùn)練,同時(shí)最大程度地提高預(yù)測(cè)模型的判別力。通過(guò)確保通過(guò)兩個(gè)關(guān)鍵設(shè)計(jì)選擇最少的優(yōu)化步驟來(lái)實(shí)現(xiàn)這一目標(biāo)。

首先,我們采用基于最速下降法的方法來(lái)計(jì)算每次迭代的最佳步長(zhǎng)。其次,我們集成了一個(gè)模塊,該模塊可以有效地初始化目標(biāo)模型。此外,我們通過(guò)學(xué)習(xí)判別損失本身,將極大的靈活性引入了最終的架構(gòu)。

我們的整個(gè)判別式跟蹤體系結(jié)構(gòu),以及主干特征提取器,都通過(guò)標(biāo)注注釋的跟蹤序列來(lái)進(jìn)行訓(xùn)練,方法是將未來(lái)幀的預(yù)測(cè)誤差降至最低。

2.相關(guān)工作

RPN詳細(xì)介紹:https://mp.weixin.qq.com/s/VXgbJPVoZKjcaZjuNwgh-A

SiamFC詳細(xì)介紹:https://mp.weixin.qq.com/s/kS9osb2JBXbgb_WGU_3mcQ

SiamRPN詳細(xì)介紹:https://mp.weixin.qq.com/s/pmnip3LQtQIIm_9Po2SndA

SiamRPN++詳細(xì)介紹:https://mp.weixin.qq.com/s/a9wt67Gn5JowQ4eOmgX75g

孿生網(wǎng)絡(luò)方法的一個(gè)關(guān)鍵限制是它們無(wú)法將背景區(qū)域或先前跟蹤的幀中的信息合并到模型預(yù)測(cè)中。

3.方法

與在孿生網(wǎng)絡(luò)跟蹤器中一樣,我們的方法得益于端到端培訓(xùn)。但是,與Siamese不同,我們的體系結(jié)構(gòu)可以充分利用背景信息,并提供有效的手段來(lái)用新數(shù)據(jù)更新目標(biāo)模型。

我們的模型預(yù)測(cè)網(wǎng)絡(luò)來(lái)自?xún)蓚€(gè)主要原理:(1)一個(gè)判別力強(qiáng)的損失函數(shù)可以指導(dǎo)網(wǎng)絡(luò)學(xué)到魯棒的特征;(2)一個(gè)powerful的優(yōu)化器可以加快網(wǎng)絡(luò)收斂。

我們的架構(gòu)僅需幾次迭代即可預(yù)測(cè)目標(biāo)模型,而不會(huì)損害其判別能力。在我們的框架中,目標(biāo)模型構(gòu)成卷積層的權(quán)重,提供目標(biāo)分類(lèi)分?jǐn)?shù)作為輸出。

我們的模型預(yù)測(cè)體系結(jié)構(gòu)通過(guò)將一組帶 bb 注釋的圖像樣本作為輸入來(lái)計(jì)算這些權(quán)重。模型預(yù)測(cè)器包括一個(gè)初始化程序網(wǎng)絡(luò),該初始化程序網(wǎng)絡(luò)僅使用目標(biāo)外觀即可有效提供模型權(quán)重的初始估計(jì)。然后由優(yōu)化器模塊處理這些權(quán)重,同時(shí)考慮目標(biāo)樣本和背景樣本。通過(guò)設(shè)計(jì),我們的優(yōu)化器模塊幾乎沒(méi)有需要學(xué)習(xí)的參數(shù),以避免在離線訓(xùn)練期間過(guò)分適應(yīng)某些類(lèi)別和場(chǎng)景。因此,我們的模型預(yù)測(cè)變量可以泛化到其他的對(duì)象,這在通用對(duì)象跟蹤中至關(guān)重要。

圖2.我們的跟蹤架構(gòu)概述。給定帶注釋的訓(xùn)練集(左上),我們使用骨干網(wǎng)絡(luò)提取深度特征圖,然后再附加卷積塊(Cls Feat)。然后將特征圖輸入到由初始化器(initializer)和循環(huán)優(yōu)化器模塊(optimizer)組成的模型預(yù)測(cè)器D。模型預(yù)測(cè)器輸出卷積層的權(quán)重,該卷積層對(duì)從測(cè)試幀中提取的特征圖執(zhí)行目標(biāo)分類(lèi)。為了清楚起見(jiàn),此處未顯示邊界框回歸分支。

我們的最終跟蹤架構(gòu)如圖2所示。我們的網(wǎng)絡(luò)包括兩個(gè)分支:分類(lèi)和回歸。兩個(gè)分支都從通用骨干網(wǎng)輸入深層功能。

目標(biāo)分類(lèi)分支包含一個(gè)卷積塊,提取出分類(lèi)器對(duì)其進(jìn)行操作的特征。給定一組訓(xùn)練樣本和相應(yīng)的目標(biāo)框,模型預(yù)測(cè)器將生成目標(biāo)分類(lèi)器的權(quán)重。然后將這些權(quán)重應(yīng)用于從測(cè)試幀中提取的特征,以計(jì)算目標(biāo)置信度分?jǐn)?shù)。

對(duì)于bb框估計(jì)分支,我們利用基于重疊最大化(就是在目標(biāo)檢測(cè)網(wǎng)絡(luò)上增加了一個(gè)IoU分支,用于預(yù)測(cè)bb與gt的IoU,使用最大化IoU來(lái)調(diào)整bb)的體系結(jié)構(gòu)。它可以預(yù)測(cè)目標(biāo)和一組proposal boxes之間的IoU。

整個(gè)跟蹤網(wǎng)絡(luò),包括目標(biāo)分類(lèi),bb估計(jì)和骨干模塊,都在跟蹤數(shù)據(jù)集中進(jìn)行了離線培訓(xùn)。

3.1 Discriminative Learning Loss

判別性學(xué)習(xí)損失

論文提出了一個(gè)概念,就是單純以圖片對(duì)方式訓(xùn)練,傳統(tǒng)的方法只會(huì)讓網(wǎng)絡(luò)過(guò)分注意于優(yōu)化負(fù)樣本的影響,而忽略了學(xué)到的正樣本的特征本身的判別能力。為了解決這個(gè)問(wèn)題,他們用了SVM中使用的hinge-like損失,就是不僅將前景背景分開(kāi),更加使得兩類(lèi)之間有一定的距離,使得分類(lèi)結(jié)果更好。

在本節(jié)中,我們描述用于推導(dǎo)模型預(yù)測(cè)體系結(jié)構(gòu)的判別性學(xué)習(xí)損失。我們的模型預(yù)測(cè)器 D 的輸入由特征提取器網(wǎng)絡(luò) F 生成的深度特征圖 x_j \\in X 訓(xùn)練集 S_{train}=(x_j,c_j)^n_{j-1} 組成。每個(gè)樣本與相應(yīng)的目標(biāo)中心坐標(biāo) c_j \\in R^2 對(duì)。有了這些數(shù)據(jù),我們的目標(biāo)是預(yù)測(cè)目標(biāo)模型 f=D(S_{train}) 。模型 f=D(S_{train}) 定義為卷積層的濾波器權(quán)重,該卷積層的特征是區(qū)分特征空間 x 中的目標(biāo)外觀和背景外觀。

L(f)= \\frac{1}{|S_{train}|} \\sum_{(x,c) \\in S_{train}} ||r(x*f,c)||^2+||\\lambda f||^2\\tag{1}

在這里,*表示卷積,\\lambda為正則化因子。函數(shù) r(s,c) 根據(jù)目標(biāo)置信度得分 s=x*f 和 gt 中心坐標(biāo) c 計(jì)算每個(gè)空間位置的殘差。最常見(jiàn)的選擇是 r(s,c)=s-y_c ,其中 y_c 是每個(gè)位置的期望目標(biāo)分?jǐn)?shù),通常設(shè)置為以 c 為中心的高斯函數(shù)。然而,簡(jiǎn)單地求差通常會(huì)使模型對(duì)所有負(fù)樣本回歸校準(zhǔn)的置信度得分為零,這需要學(xué)習(xí)將重點(diǎn)放在負(fù)面數(shù)據(jù)樣本上,而不是獲得最佳的判別能力。簡(jiǎn)單的差異并不能解決目標(biāo)與背景之間數(shù)據(jù)不平衡的問(wèn)題。

為了解決數(shù)據(jù)不平衡的問(wèn)題,我們使用空間權(quán)重函數(shù) v_c。下標(biāo) c 表示目標(biāo)的中心位置的依賴(lài)性,如3.4節(jié)所述。為了適應(yīng)第一個(gè)問(wèn)題,我們按照支持向量機(jī)的原理修改了損失。我們采用hinge-like loss,用 max(0,s) 將背景區(qū)域中的負(fù)分?jǐn)?shù)取零。因此,該模型可以自由地為背景中的簡(jiǎn)單樣本預(yù)測(cè)較大的負(fù)值,而不會(huì)增加損失。另一方面,對(duì)于目標(biāo)區(qū)域,我們發(fā)現(xiàn)添加類(lèi)似的hinge-like loss max(0,1-s) 是不利的,因?yàn)槟繕?biāo)類(lèi)和背景類(lèi)之間的基本不對(duì)稱(chēng),數(shù)值上不平衡。此外,在跟蹤情況下,例如精確校準(zhǔn)的目標(biāo)置信度確實(shí)是有利的。

為了兼顧最小二乘回歸和hinge loss的優(yōu)點(diǎn),我們定義了殘差函數(shù):

r(s,c)=v_c *(m_cs+(1-m_c)max(0,s)-y_c)\\tag{2}

目標(biāo)區(qū)域mask由 m_c 定義,其值在每個(gè)空間位置 t \\in R^2m_c(t) \\in[0,1],即正樣本就用正樣本的score,負(fù)樣本的話就用大于零的。同樣,下標(biāo)c表示對(duì)目標(biāo)中心坐標(biāo)的依賴(lài)性。上式能夠根據(jù)相對(duì)于目標(biāo)中心c的圖像位置連續(xù)地將損失從標(biāo)準(zhǔn)最小二乘回歸更改為hinge loss。將 m_c \\approx 1 設(shè)置為目標(biāo),將 m_c \\approx 0 設(shè)置為背景會(huì)產(chǎn)生上述所需的行為。但是,如何最佳設(shè)置 m_c 尚不清楚,特別是在目標(biāo)和背景之間的過(guò)渡區(qū)域。盡管經(jīng)典策略是使用試錯(cuò)法手動(dòng)設(shè)置 mask 參數(shù),但我們的端到端公式允許我們以數(shù)據(jù)驅(qū)動(dòng)的方式學(xué)習(xí) mask。實(shí)際上我們的方法都是網(wǎng)絡(luò)中自己學(xué)到的,并不是人工指定的:目標(biāo) mask m_c,空間權(quán)重 v_c ,正則化因子 \\lambda。

3.2 Optimization-Based Architecture

基于優(yōu)化的架構(gòu)

作者表示使用固定的學(xué)習(xí)率不僅會(huì)導(dǎo)致模型迭代次數(shù)多,獲得的精度也不夠理想,所以作者自己設(shè)計(jì)了一個(gè)梯度下降的方式,自適應(yīng)的學(xué)到學(xué)習(xí)率。這里的策略就是希望梯度下降沿著最陡的方向走。

我們得出網(wǎng)絡(luò)架構(gòu)D,它通過(guò)公式(1)最小化誤差來(lái)預(yù)測(cè)濾波器f=D(S_{train})。該網(wǎng)絡(luò)是通過(guò)制定優(yōu)化程序來(lái)設(shè)計(jì)的。從等式(1)和(2)我們可以得出損耗 \\nabla L 相對(duì)于濾波器 f 的梯度的表達(dá)式。直接的選擇是使用步長(zhǎng)來(lái)梯度下降。

f^{i+1}=f^i-\\alpha \\nabla L(f^i) \\tag{3}

梯度下降的緩慢收斂主要是由于步長(zhǎng)不變,所以步長(zhǎng)不依賴(lài)于數(shù)據(jù)或當(dāng)前模型估計(jì)。我們通過(guò)推導(dǎo)使用了更復(fù)雜的優(yōu)化方法來(lái)解決此問(wèn)題,該方法僅需要進(jìn)行幾次迭代即可預(yù)測(cè)出強(qiáng)大的判別濾波器 f。核心思想是基于最速下降法計(jì)算步長(zhǎng),這是一種常見(jiàn)的優(yōu)化技術(shù)。我們首先在當(dāng)前估計(jì)值 f^i 處用二次函數(shù)來(lái)估算損失:

L(f)\\approx \\tilde{L}(f)=\\frac 1 2 (f-f^i)^TQ^i(f-f^i)+(f-f^i)T\\nabla L(f^i)+L(f^i) \\tag{4}

在這里,濾波器變量 ff_i 被視為向量,而 Q^i 是正定方陣。然后,通過(guò)找到使梯度方向上的近似損失最小的步長(zhǎng)來(lái)進(jìn)行最陡的下降:

\\alpha=\\frac{\\nabla L(f^i)^T \\nabla L(f^i)^T}{\\nabla L(f^i)^TQ^i \\nabla L(f^i)} \\tag{5}

在最速下降時(shí),公式(5)用于計(jì)算濾波器更新的每次迭代中的標(biāo)量步長(zhǎng)。

二次模型(4)以及因此得到的步長(zhǎng)(5)取決于 Q^i 的選擇。例如,通過(guò)使用縮放的單位矩陣 ,我們以固定步長(zhǎng)來(lái)重新獲取標(biāo)準(zhǔn)梯度下降算法。對(duì)于我們的最小二乘公式(1),Gauss-Newton方法提供了一個(gè)強(qiáng)大的替代方法,因?yàn)樗鼉H涉及一階導(dǎo)數(shù),因此具有明顯的計(jì)算優(yōu)勢(shì)。因此,我們?cè)O(shè)置 Q^i=(j^i)^T J^i,其中 J^if^i 處殘差的雅可比行列式。實(shí)際上,矩陣 Q^IJ^i 都不需要顯式構(gòu)造,而是實(shí)現(xiàn)為一系列神經(jīng)網(wǎng)絡(luò)操作。

3.3 Initial filter prediction

初始過(guò)濾器預(yù)測(cè)

這個(gè)模型初始化就是將所有的 bbox 里面的東西取平均,就像原始的 Siamese 網(wǎng)絡(luò)一樣,只不過(guò)在這里只用于初始化,后面還會(huì)訓(xùn)練更新。

為了進(jìn)一步減少預(yù)測(cè)模塊D中所需的優(yōu)化遞歸次數(shù),我們引入了一個(gè)經(jīng)過(guò)訓(xùn)練的小型網(wǎng)絡(luò)模塊以預(yù)測(cè)初始模型評(píng)估 f^0 。我們的初始化器網(wǎng)絡(luò)由一個(gè)卷積層和一個(gè)精確的 ROI 池化層組成。ROI 池化層從目標(biāo)區(qū)域中提取特征并將其合并為與目標(biāo)模型 f 相同的大小。然后將合并的特征圖對(duì) s_{train} 中的所有樣本求平均值,以獲得初始模型 f^0 。與孿生網(wǎng)絡(luò)跟蹤器一樣,此方法僅利用目標(biāo)特征。但是,我們的初始化程序網(wǎng)絡(luò)僅負(fù)責(zé)提供初始估計(jì)值,而不是預(yù)測(cè)最終模型,然后由優(yōu)化程序模塊進(jìn)行處理以提供最終的判別模型。

3.4 Learning the Discriminative Loss

學(xué)習(xí)判別性損失

這個(gè)部分就解釋了剛剛公式2和其中的參數(shù)是如何學(xué)習(xí)的,y_cv_cm_c 都是根據(jù)與目標(biāo)中心距離決定的,通過(guò)轉(zhuǎn)化到對(duì)偶空間求的。

在這里,我們描述了如何學(xué)習(xí)殘差函數(shù)(2)中的自由參數(shù),這些參數(shù)定義了判別損失(1)。我們的殘差函數(shù)包括標(biāo)簽置信度 y_c ,空間權(quán)重函數(shù) v_c ,和目標(biāo)mask m_c ,此類(lèi)變量通常是在當(dāng)前的判別跟蹤器中手動(dòng)構(gòu)建的,但本文的方法是從數(shù)據(jù)中學(xué)習(xí)這些功能的。我們根據(jù)與目標(biāo)中心的距離對(duì)它們進(jìn)行參數(shù)化。這是由問(wèn)題的徑向?qū)ΨQ(chēng)性引起的,其中相對(duì)于目標(biāo)的樣品位置的方向意義不大。另一方面,到樣品位置的距離起著至關(guān)重要的作用,特別是在從目標(biāo)到背景的過(guò)渡中。

因此,我們使用徑向基函數(shù) ** \\rho_k**,對(duì) y_cv_cm_c 進(jìn)行參數(shù)化,并學(xué)習(xí)它們的系數(shù) ** \\phi _k** 。例如,位置 t \\in R^2 處的標(biāo)簽 y_c 為:

y_c(t)=\\sum^{N-1}_{k=0}\\phi^y_k\\rho_k(||t-c||) \\tag{6}

我們使用函數(shù):

\\rho_k(d)= \\begin{cases} max(0,1-\\frac{|d-k\\Delta|}{\\Delta}), & \\text {k

上述公式對(duì)應(yīng)于結(jié)節(jié)位移為?的連續(xù)分段線性函數(shù)。注意最終情況 k=N-1 表示遠(yuǎn)離目標(biāo)中心的所有位置,因此可以同等對(duì)待。我們使用一個(gè)較小的值來(lái)實(shí)現(xiàn)目標(biāo)背景過(guò)渡時(shí)回歸標(biāo)簽的準(zhǔn)確表示。類(lèi)似地,分別使用系數(shù) v_km_k 在(6)中對(duì)函數(shù) v_cm_c 進(jìn)行參數(shù)化。對(duì)于目標(biāo)mask m_c ,我們通過(guò)Sigmoid函數(shù)將值限制為間隔[0,1]。

圖3.學(xué)習(xí)的回歸標(biāo)簽,目標(biāo)mask和空間權(quán)重的圖。每個(gè)數(shù)量的初始化以虛線顯示。

3.5 離線訓(xùn)練

訓(xùn)練的時(shí)候是用多個(gè)圖片對(duì)訓(xùn)練的 (M_{train},M_{test}) ,這些樣本是從同一個(gè)序列中抽樣出來(lái)的,對(duì)于給定的樣本對(duì),先是用特征提取網(wǎng)絡(luò)提取到對(duì)應(yīng)的特征 (S_{train},S_{test}) ,得到的特征輸入到D網(wǎng)絡(luò)中得到濾波器 f ,這個(gè)文章的目的就是學(xué)到一個(gè)可以推廣到?jīng)]見(jiàn)過(guò)幀的特征。然后在**S_{test}**上測(cè)試,然后計(jì)算一個(gè)損失:

l(s,z)= \\begin{cases} s-z, & \\text {z>T} \\ max(0,s)), & \\text{z

這里就是之前提到的 Hinge-like 損失函數(shù),T 表示前景和背景,所以這里只懲罰背景樣本。這里他們?yōu)榱颂嵘P汪敯粜?,?duì)每次迭代的損失都做約束,這就相當(dāng)于一個(gè)中間的監(jiān)督:

L_{cls}=\\frac{1}{N_{iter}} \\sum^{N_{iter}}_{i=0} \\sum_{(x,c) \\in S_{test}} ||l(x*f^i,z_c)||^2 \\tag{9}

迭代次數(shù)也不是指定的,而是自適應(yīng)的。上述公式中 z_c 是一個(gè) mask 中心位于 bb 的中心的高斯函數(shù),在 bb 回歸的地方,他們用了 IOUNet 來(lái)做。最終的損失函數(shù)為:

L_{tot}=\\beta L_{cls}+L_{bb} \\tag{10}

3.6 在線追蹤

對(duì)于給定的第一幀,他們用數(shù)據(jù)增強(qiáng)方式添加了15個(gè)樣本,然后用10次梯度下降來(lái)學(xué)習(xí) f,在模型更新過(guò)程中,他們保持最新的50個(gè)樣本,每20幀更新一次。

給定帶有注釋的第一幀,我們采用數(shù)據(jù)增強(qiáng)策略來(lái)構(gòu)建包含15個(gè)樣本的初始集合 S_{train} 。然后使用我們的判別模型預(yù)測(cè)架構(gòu) f=D(S_{train} ) 。得目標(biāo)模型。對(duì)于第一幀,用10次梯度下降來(lái)學(xué)習(xí)。只要有足夠的置信度預(yù)測(cè)目標(biāo),我們的方法就可以通過(guò)向 S_{train} 添加新的訓(xùn)練樣本輕松地更新目標(biāo)模型。通過(guò)丟棄最早的樣本,保持最新的50個(gè)樣本。在跟蹤過(guò)程中,我們通過(guò)每20幀執(zhí)行兩次優(yōu)化器遞歸完成更新,或在檢測(cè)到干擾波峰時(shí)執(zhí)行一次遞歸來(lái)更新目標(biāo)模型。

我們的方法是使用PyTorch在Python中實(shí)現(xiàn)的。在單個(gè)NVidia GTX 1080 GPU上,當(dāng)使用ResNet-18作為主干時(shí),我們的跟蹤速度為57 FPS,對(duì)于ResNet-50為43 FPS。

學(xué)習(xí)更多編程知識(shí),請(qǐng)關(guān)注我的公眾號(hào):

[代碼的路]

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 神經(jīng)網(wǎng)絡(luò)

    關(guān)注

    42

    文章

    4771

    瀏覽量

    100713
  • 機(jī)器視覺(jué)
    +關(guān)注

    關(guān)注

    161

    文章

    4369

    瀏覽量

    120281
  • 機(jī)器學(xué)習(xí)

    關(guān)注

    66

    文章

    8406

    瀏覽量

    132561
  • python
    +關(guān)注

    關(guān)注

    56

    文章

    4792

    瀏覽量

    84627
  • pytorch
    +關(guān)注

    關(guān)注

    2

    文章

    807

    瀏覽量

    13200
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    機(jī)器學(xué)習(xí)發(fā)展歷程與機(jī)器學(xué)習(xí)應(yīng)用之道

    監(jiān)督學(xué)習(xí)(Supervised Learning)是從有標(biāo)簽的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)模型,然后對(duì)某個(gè)給定的新數(shù)據(jù)利用模型
    發(fā)表于 07-10 14:31 ?1w次閱讀

    Fast Intra-Prediction Model Selection for H.264 Codec

    Fast Intra-Prediction Model Selection for H.264 CodecFast Intra-Prediction Model Selection
    發(fā)表于 06-25 10:03

    機(jī)器學(xué)習(xí)之偏差、方差,生成模型,判別模型,先驗(yàn)概率,后驗(yàn)概率

    機(jī)器學(xué)習(xí):偏差、方差,生成模型,判別模型,先驗(yàn)概率,后驗(yàn)概率
    發(fā)表于 05-14 15:23

    【洞幺邦】基于深度學(xué)習(xí)的GAN應(yīng)用風(fēng)格遷移

    Discriminative Model)構(gòu)成,判別模型接受輸入,通過(guò)模型來(lái)判別該輸入的類(lèi)別;
    發(fā)表于 07-01 10:53

    Ensemble Learning Task

    15 的主要學(xué)習(xí)內(nèi)容是蒸汽量預(yù)測(cè)案例分析目錄背景介紹數(shù)據(jù)信息評(píng)價(jià)指標(biāo)數(shù)據(jù)字典數(shù)據(jù)分布核密度估計(jì)相關(guān)性矩陣歸一化特征工程模型搭建與集成背景介紹火力發(fā)電的基本原理是:燃料在燃燒時(shí)加熱水生成蒸汽,蒸汽壓
    發(fā)表于 07-07 07:06

    模型預(yù)測(cè)控制介紹

    這篇主要講一下模型預(yù)測(cè)控制,如果對(duì)PID控制了解的同學(xué),那效果更好。如果不了解PID控制,還是熟悉下比較好。模型預(yù)測(cè)控制,顧名思義,基于模型
    發(fā)表于 08-18 06:21

    什么是有限集模型預(yù)測(cè)控制

    有限集模型預(yù)測(cè)控制(finitecontrol set-model predictive control,F(xiàn)CS-MPC)作為一種具有運(yùn)算量大的特點(diǎn)的控制算法,隨著數(shù)字信號(hào)處理器處理能力的提高也被
    發(fā)表于 08-27 06:05

    在BBNs的基礎(chǔ)上軟件殘留缺陷預(yù)測(cè)模型

    The importance of software residual defects and some prediction residual defectsmodels
    發(fā)表于 05-26 14:23 ?8次下載

    自動(dòng)跟蹤對(duì)稱(chēng)電源:Tracking Regulated Po

    自動(dòng)跟蹤對(duì)稱(chēng)電源:Tracking Regulated Power Supply A tracking regulated power supply is shown in Figure 29. This supply is
    發(fā)表于 05-16 16:40 ?2851次閱讀
    自動(dòng)<b class='flag-5'>跟蹤</b>對(duì)稱(chēng)電源:<b class='flag-5'>Tracking</b> Regulated Po

    FM跟蹤發(fā)射器FM Tracking Transmitter

    FM跟蹤發(fā)射器FM Tracking Transmitter Kit (small) This kit is the small version of the FM 108 MHz
    發(fā)表于 12-22 10:14 ?2553次閱讀
    FM<b class='flag-5'>跟蹤</b>發(fā)射器FM <b class='flag-5'>Tracking</b> Transmitter

    人工智能--深度學(xué)習(xí)模型

    我們知道機(jī)器學(xué)習(xí)模型有:生成模型(GenerativeModel)和判別模型Discriminativ
    發(fā)表于 06-29 18:37 ?6087次閱讀

    一種基于RNN的社交消息爆發(fā)預(yù)測(cè)模型

    outbreak prediction model based on recurrent neural network)模型,與傳統(tǒng)的基于機(jī)器學(xué)習(xí)
    發(fā)表于 12-25 15:49 ?0次下載
    一種基于RNN的社交消息爆發(fā)<b class='flag-5'>預(yù)測(cè)</b><b class='flag-5'>模型</b>

    一種新穎的基于模型的機(jī)器學(xué)習(xí)方式——model based machine learning

    還有很多各式各樣的疑問(wèn)充滿(mǎn)了機(jī)器學(xué)習(xí)的歷程和工程實(shí)踐中。但這本書(shū)為我們帶來(lái)了一個(gè)對(duì)機(jī)器視覺(jué)的全新視角:model-based 機(jī)器學(xué)習(xí)?;?b class='flag-5'>模型的機(jī)器
    的頭像 發(fā)表于 10-21 10:50 ?6068次閱讀

    機(jī)器學(xué)習(xí)中的無(wú)模型強(qiáng)化學(xué)習(xí)算法及研究綜述

    模型化強(qiáng)化學(xué)習(xí)(Mode- based reinforcement Lear-ning)和無(wú)模型強(qiáng)化學(xué)習(xí)Model- ree reirη
    發(fā)表于 04-08 11:41 ?11次下載
    機(jī)器<b class='flag-5'>學(xué)習(xí)</b>中的無(wú)<b class='flag-5'>模型</b>強(qiáng)化<b class='flag-5'>學(xué)習(xí)</b>算法及研究綜述

    永磁同步電機(jī)模型預(yù)測(cè)轉(zhuǎn)矩控制學(xué)習(xí)

    導(dǎo)讀:本期主要學(xué)習(xí)介紹模型預(yù)測(cè)控制(MPC, Model Predictive Control),主要分為四個(gè)部分,MPC基本原理、MPTC控制原理、仿真搭建和結(jié)果分析。
    的頭像 發(fā)表于 12-19 11:56 ?2231次閱讀
    RM新时代网站-首页