在Storm環(huán)境下如何進(jìn)行拓?fù)浣Y(jié)構(gòu)的任務(wù)調(diào)度策略
資料介紹
針對(duì)Storm流式計(jì)算平臺(tái)中默認(rèn)輪詢調(diào)度策略存在通信開銷大、負(fù)載不均衡的問題,提出基于拓?fù)浣Y(jié)構(gòu)的任務(wù)調(diào)度策略( TS2)。首先,選取CPU資源充足且可用的工作節(jié)點(diǎn)并各分配一個(gè)進(jìn)程,消除節(jié)點(diǎn)內(nèi)進(jìn)程間通信開銷,優(yōu)化進(jìn)程部署;然后,分析拓?fù)浣Y(jié)構(gòu),找出拓?fù)渲卸茸畲蟮慕M件,優(yōu)先分配該組件的線程;最后,在滿足節(jié)點(diǎn)可承載最大線程數(shù)的條件下,盡可能將關(guān)聯(lián)任務(wù)部署到同一個(gè)節(jié)點(diǎn)來減少節(jié)點(diǎn)間通信開銷,改善集群負(fù)載均衡,優(yōu)化線程部署。實(shí)驗(yàn)結(jié)果表明:在系統(tǒng)延遲方面,與Storm默認(rèn)調(diào)度策略和離線調(diào)度策略相比,TS的平均優(yōu)化率分別為16. 91%和5. 69%,有效提高了系統(tǒng)的實(shí)時(shí)性;在節(jié)點(diǎn)間通信開銷方面,TS相比于Storm默認(rèn)調(diào)度策略平均降低了15. 75%;在平均吞吐量方面,TS相比于Storm默認(rèn)調(diào)度策略平均提升了14. 21%。
隨著互聯(lián)網(wǎng)+時(shí)代來臨,全球數(shù)據(jù)量急劇增長。國際數(shù)據(jù)公司( International Data Corporation,IDC)發(fā)布的白皮書《數(shù)據(jù)時(shí)代2025》中提出,預(yù)計(jì)到2025年全球數(shù)據(jù)量將達(dá)到163ZB,其中超過25%的數(shù)據(jù)將成為實(shí)時(shí)數(shù)據(jù),而物聯(lián)網(wǎng)實(shí)時(shí)數(shù)據(jù)將占到95%[1],面對(duì)如此龐大的實(shí)時(shí)數(shù)據(jù)量,需要時(shí)效性高、可擴(kuò)展性和穩(wěn)定性強(qiáng)的流式計(jì)算框架。與批量計(jì)算不同,流式計(jì)算不再對(duì)數(shù)據(jù)的中間結(jié)果進(jìn)行存儲(chǔ),數(shù)據(jù)直接在各個(gè)工作節(jié)點(diǎn)的內(nèi)存中進(jìn)行計(jì)算。在這種應(yīng)用場景下,以Twitter公司的Storm系統(tǒng)為代表的幾種實(shí)時(shí)計(jì)算框架應(yīng)運(yùn)而生,也將流式計(jì)算的應(yīng)用范圍逐漸擴(kuò)展到物聯(lián)網(wǎng)、金融、社交媒體以及實(shí)時(shí)交通等實(shí)時(shí)性要求高的領(lǐng)域‘糾。其中在Storm環(huán)境下,針對(duì)套牌車識(shí)別具有時(shí)效性約束的問題,相關(guān)學(xué)者提出了一種基于實(shí)時(shí)車牌識(shí)別的流式并行檢測方法,并且該方法的準(zhǔn)確率達(dá)到了98.7%_3],實(shí)時(shí)獲取車輛的動(dòng)態(tài)信息已經(jīng)成為可能。
- 異構(gòu)環(huán)境下的多DAG任務(wù)調(diào)度算法綜述 13次下載
- 云環(huán)境下HEDSM工作流調(diào)度策略綜述 6次下載
- 異構(gòu)云環(huán)境中二級(jí)實(shí)時(shí)密碼服務(wù)調(diào)度策略 9次下載
- 可反映用戶偏好的多目標(biāo)任務(wù)調(diào)度算法 3次下載
- EDA多任務(wù)流調(diào)度算法實(shí)驗(yàn)設(shè)計(jì) 5次下載
- 如何在云計(jì)算環(huán)境下進(jìn)行資源調(diào)度算法的研究 4次下載
- 數(shù)據(jù)庫概念結(jié)構(gòu)和邏輯與物理結(jié)構(gòu)如何進(jìn)行設(shè)計(jì) 17次下載
- MapReduce節(jié)能任務(wù)調(diào)度策略 0次下載
- 云環(huán)境下基于聚簇的執(zhí)行優(yōu)化策略 0次下載
- 一種新的調(diào)度策略優(yōu)化Spark在異構(gòu)集群下表現(xiàn) 0次下載
- 云計(jì)算環(huán)境中任務(wù)調(diào)度應(yīng)用 3次下載
- 基于Qos綜合滿意度的云計(jì)算任務(wù)調(diào)度策略 0次下載
- 網(wǎng)格任務(wù)調(diào)度算法研究
- VxWorks下周期任務(wù)調(diào)度和任務(wù)周期選擇
- 樹型網(wǎng)格計(jì)算環(huán)境下的自適應(yīng)任務(wù)調(diào)度算法
- 如何進(jìn)行RF PA Ruggedness的測試和評(píng)估呢? 1519次閱讀
- 什么是計(jì)算機(jī)網(wǎng)絡(luò)的拓?fù)?/b>結(jié)構(gòu)?主要的拓?fù)?/b>結(jié)構(gòu)有哪些? 1288次閱讀
- 網(wǎng)絡(luò)拓?fù)?/b>結(jié)構(gòu)有哪幾種類型 網(wǎng)絡(luò)拓?fù)?/b>結(jié)構(gòu)優(yōu)缺點(diǎn) 994次閱讀
- 拓?fù)?/b>視圖與實(shí)際拓?fù)?/b>結(jié)構(gòu)間的差異 887次閱讀
- RTOS應(yīng)用中的調(diào)度策略 539次閱讀
- Apache Storm的安裝部署 859次閱讀
- Apache Storm是什么 1009次閱讀
- 任務(wù)調(diào)度開源代碼是什么 788次閱讀
- 嵌入式軟件架構(gòu)設(shè)計(jì)之任務(wù)調(diào)度 1994次閱讀
- FreeRTOS任務(wù)和協(xié)程簡介及實(shí)現(xiàn) 2765次閱讀
- 在Allegro中如何進(jìn)行skill的安裝 3909次閱讀
- 鴻蒙內(nèi)核源碼的中斷環(huán)境下的任務(wù)切換 2170次閱讀
- 鴻蒙內(nèi)核分析:線程中斷環(huán)境下的任務(wù)切換 2498次閱讀
- 總線型拓?fù)?/b>結(jié)構(gòu)優(yōu)缺點(diǎn)是什么 2.4w次閱讀
- 什么是電路拓?fù)?/b>結(jié)構(gòu)_多種pfc電路的拓?fù)?/b>結(jié)構(gòu)介紹 5.1w次閱讀
下載排行
本周
- 1TC358743XBG評(píng)估板參考手冊
- 1.36 MB | 330次下載 | 免費(fèi)
- 2開關(guān)電源基礎(chǔ)知識(shí)
- 5.73 MB | 11次下載 | 免費(fèi)
- 3嵌入式linux-聊天程序設(shè)計(jì)
- 0.60 MB | 3次下載 | 免費(fèi)
- 4DIY動(dòng)手組裝LED電子顯示屏
- 0.98 MB | 3次下載 | 免費(fèi)
- 5基于FPGA的C8051F單片機(jī)開發(fā)板設(shè)計(jì)
- 0.70 MB | 2次下載 | 免費(fèi)
- 651單片機(jī)窗簾控制器仿真程序
- 1.93 MB | 2次下載 | 免費(fèi)
- 751單片機(jī)大棚環(huán)境控制器仿真程序
- 1.10 MB | 2次下載 | 免費(fèi)
- 8基于51單片機(jī)的RGB調(diào)色燈程序仿真
- 0.86 MB | 2次下載 | 免費(fèi)
本月
- 1OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234315次下載 | 免費(fèi)
- 2555集成電路應(yīng)用800例(新編版)
- 0.00 MB | 33566次下載 | 免費(fèi)
- 3接口電路圖大全
- 未知 | 30323次下載 | 免費(fèi)
- 4開關(guān)電源設(shè)計(jì)實(shí)例指南
- 未知 | 21549次下載 | 免費(fèi)
- 5電氣工程師手冊免費(fèi)下載(新編第二版pdf電子書)
- 0.00 MB | 15349次下載 | 免費(fèi)
- 6數(shù)字電路基礎(chǔ)pdf(下載)
- 未知 | 13750次下載 | 免費(fèi)
- 7電子制作實(shí)例集錦 下載
- 未知 | 8113次下載 | 免費(fèi)
- 8《LED驅(qū)動(dòng)電路設(shè)計(jì)》 溫德爾著
- 0.00 MB | 6656次下載 | 免費(fèi)
總榜
- 1matlab軟件下載入口
- 未知 | 935054次下載 | 免費(fèi)
- 2protel99se軟件下載(可英文版轉(zhuǎn)中文版)
- 78.1 MB | 537798次下載 | 免費(fèi)
- 3MATLAB 7.1 下載 (含軟件介紹)
- 未知 | 420027次下載 | 免費(fèi)
- 4OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234315次下載 | 免費(fèi)
- 5Altium DXP2002下載入口
- 未知 | 233046次下載 | 免費(fèi)
- 6電路仿真軟件multisim 10.0免費(fèi)下載
- 340992 | 191186次下載 | 免費(fèi)
- 7十天學(xué)會(huì)AVR單片機(jī)與C語言視頻教程 下載
- 158M | 183279次下載 | 免費(fèi)
- 8proe5.0野火版下載(中文版免費(fèi)下載)
- 未知 | 138040次下載 | 免費(fèi)
評(píng)論
查看更多