資料介紹
Mapreduce是一種適用于大數(shù)據(jù)處理的重要并行計算框架,通過在大量集群節(jié)點上并行執(zhí)行多個任務,極大地提高了數(shù)據(jù)的處理性能。然而,由于中間數(shù)據(jù)需要等到 Mapper任務完成之后才能被發(fā)送給 Reducer任務,由此導致的大量傳輸延遲成為 Mapreduce框架性能的重要瓶頸。為此,文中提出了一種面向 Mapreduce的中間數(shù)據(jù)傳輸流水線優(yōu)化機制,將有效計算與中間數(shù)據(jù)傳輸解耦,以流水線的方式重疊執(zhí)行各個階段,有效隱藏數(shù)據(jù)傳輸開銷。文中還給岀了中間數(shù)據(jù)傳輸流水線執(zhí)行機制和實現(xiàn)策略,包括流水線劃分、數(shù)據(jù)細分、數(shù)據(jù)歸并和數(shù)據(jù)傳輸粒度等。在公開數(shù)據(jù)集上對所提中間數(shù)據(jù)傳輸流水線優(yōu)化機制進行了評價,當 Shuffle數(shù)據(jù)量較大時,該優(yōu)化機制比默認框架的整體性能提高了60.2%。
- 嵌入式_流水線
- 使用FPGA設計流水線的資料和程序詳細概述 3次下載
- 關于ARM流水線的資料和分析 5次下載
- 一種基于混合社區(qū)的移動機會網(wǎng)絡數(shù)據(jù)傳輸機制 0次下載
- DSP設計中的流水線數(shù)據(jù)相關問題解析 0次下載
- 一種基于雙層總線架構的數(shù)據(jù)傳輸方案_陳瑾 0次下載
- 一種系統(tǒng)化流水線控制方法_章其富 0次下載
- 一種基于流水線DA算法的數(shù)字下變頻器_周云 2次下載
- 一種針對可重構處理器流水線簡化編程的設計范式 0次下載
- 一種改進運放共享結構的11位流水線ADC設計 3次下載
- 一種基于40nmCMOS工藝12位60MHz流水線模數(shù)轉換器 3次下載
- 電鍍流水線的PLC控制 36次下載
- 一種流水線存儲的數(shù)據(jù)采集系統(tǒng) 36次下載
- 基于消息中間件的農(nóng)電數(shù)據(jù)傳輸系統(tǒng)
- 一種流水線結構AD轉換器的速度分析方法
- 以太網(wǎng)接口的數(shù)據(jù)傳輸原理詳解 945次閱讀
- 新版本Jenkins推薦使用聲明式流水線 604次閱讀
- Google GPipe為代表的流水線并行范式 891次閱讀
- 一個典型的流水線設計 1095次閱讀
- 報文解析規(guī)則定義 流水線劃分提取方案 809次閱讀
- CPU流水線優(yōu)缺點 3912次閱讀
- 一文詳細了解流水線設計 4610次閱讀
- FPGA中流水線的原因和方式 5710次閱讀
- IEEE802.15.4協(xié)議的數(shù)據(jù)傳輸模型解析 3844次閱讀
- 流水線設計的思想介紹與設計實例 7896次閱讀
- 差分數(shù)據(jù)傳輸有什么優(yōu)勢? 1w次閱讀
- 新專利介紹--一種基于超聲波測量和GPRS數(shù)據(jù)傳輸的水表系統(tǒng) 1087次閱讀
- 淺談GPU的渲染流水線實現(xiàn) 3757次閱讀
- DMA數(shù)據(jù)傳輸(源代碼分享) 8943次閱讀
- 一文讀懂處理器流水線 2.2w次閱讀
下載排行
本周
- 1電子電路原理第七版PDF電子教材免費下載
- 0.00 MB | 1489次下載 | 免費
- 2單片機典型實例介紹
- 18.19 MB | 91次下載 | 1 積分
- 3S7-200PLC編程實例詳細資料
- 1.17 MB | 27次下載 | 1 積分
- 4筆記本電腦主板的元件識別和講解說明
- 4.28 MB | 18次下載 | 4 積分
- 5開關電源原理及各功能電路詳解
- 0.38 MB | 9次下載 | 免費
- 6基于AT89C2051/4051單片機編程器的實驗
- 0.11 MB | 4次下載 | 免費
- 7基于單片機和 SG3525的程控開關電源設計
- 0.23 MB | 3次下載 | 免費
- 8基于單片機的紅外風扇遙控
- 0.23 MB | 3次下載 | 免費
本月
- 1OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費
- 2PADS 9.0 2009最新版 -下載
- 0.00 MB | 66304次下載 | 免費
- 3protel99下載protel99軟件下載(中文版)
- 0.00 MB | 51209次下載 | 免費
- 4LabView 8.0 專業(yè)版下載 (3CD完整版)
- 0.00 MB | 51043次下載 | 免費
- 5555集成電路應用800例(新編版)
- 0.00 MB | 33562次下載 | 免費
- 6接口電路圖大全
- 未知 | 30319次下載 | 免費
- 7Multisim 10下載Multisim 10 中文版
- 0.00 MB | 28588次下載 | 免費
- 8開關電源設計實例指南
- 未知 | 21539次下載 | 免費
總榜
- 1matlab軟件下載入口
- 未知 | 935053次下載 | 免費
- 2protel99se軟件下載(可英文版轉中文版)
- 78.1 MB | 537791次下載 | 免費
- 3MATLAB 7.1 下載 (含軟件介紹)
- 未知 | 420026次下載 | 免費
- 4OrCAD10.5下載OrCAD10.5中文版軟件
- 0.00 MB | 234313次下載 | 免費
- 5Altium DXP2002下載入口
- 未知 | 233045次下載 | 免費
- 6電路仿真軟件multisim 10.0免費下載
- 340992 | 191183次下載 | 免費
- 7十天學會AVR單片機與C語言視頻教程 下載
- 158M | 183277次下載 | 免費
- 8proe5.0野火版下載(中文版免費下載)
- 未知 | 138039次下載 | 免費
評論
查看更多