這是一個(gè)算力不足的年代，這是一個(gè)算力重建的年代，破局與重建關(guān)乎時(shí)代變遷，破局與重建也激發(fā)著創(chuàng)新者的斗志。

01

愿算力與你同在：當(dāng)全世界的電力都用上還不夠

“算力”在未來(lái)，就像當(dāng)年的蒸汽機(jī)、電力一樣，儼然已經(jīng)是生產(chǎn)力發(fā)展的核心要素，也就是說(shuō)，誰(shuí)擁有超越別人的“算力”，誰(shuí)就會(huì)擁有更高的生產(chǎn)力和效率，誰(shuí)也就能在創(chuàng)新上實(shí)現(xiàn)真正的突破，成為推動(dòng)產(chǎn)業(yè)和時(shí)代進(jìn)步的原動(dòng)力。所以“算力”會(huì)和“原力”一樣成為人們期望擁有的能力。

“愿算力與你同在”是雪湖公司的口號(hào)，印在了我們的文化衫上。

它致敬了星戰(zhàn)里的那句“愿原力與你同在”這句話。熟悉星戰(zhàn)的朋友一定知道，“原力”是星球大戰(zhàn)里一種超自然的，而又無(wú)處不在的神秘力量，是所有生物創(chuàng)造的一個(gè)能量場(chǎng)，幫助絕地武士們擁有超越其他人的能力。

5G，AI和AIoT，讓所有東西都聯(lián)網(wǎng)和數(shù)字化，使得算力缺口不斷擴(kuò)大，從端側(cè)到云端，數(shù)據(jù)運(yùn)算需求呈現(xiàn)指數(shù)級(jí)增長(zhǎng)，都在思考如何打破“算力瓶頸”。也許你會(huì)說(shuō)，可以用CPU和GPU啊？曾經(jīng)有人算過(guò)，不斷增長(zhǎng)的加速需求全部用GPU來(lái)算的話，用上全世界的電力可能也不夠，所以光用GPU做加速顯然不現(xiàn)實(shí)。

在我看來(lái)，根據(jù)場(chǎng)景不同，將來(lái)算力會(huì)分布在從云到端的各個(gè)環(huán)節(jié)上。站在這幾年非常流行的“上云萬(wàn)能論”的角度來(lái)看，有許多場(chǎng)景的需求無(wú)法通過(guò)云解決，以智能駕駛場(chǎng)景為例，計(jì)算結(jié)果需要在毫秒級(jí)反饋到控制系統(tǒng)，顯然云端計(jì)算變得不現(xiàn)實(shí)。相信FPGA的靈活性可以為更多場(chǎng)景做“算力賦能”。

02

重新定義硬件：為什么要用ASIC的思路做FPGA的應(yīng)用開(kāi)發(fā)？

我是一個(gè)半導(dǎo)體行業(yè)的老兵，在芯片原廠工作的十幾年里，幾乎接觸過(guò)市面上所有類型的芯片。在這么多的芯片里，F(xiàn)PGA是最特殊的，它“樂(lè)高積木”一樣的特點(diǎn)讓人著迷。

這幾年，異構(gòu)計(jì)算和硬件加速是非常值得期待的市場(chǎng)。從當(dāng)下4000多億美金全球的芯片市場(chǎng)規(guī)模來(lái)說(shuō)，F(xiàn)PGA芯片的60多億不那么大，但隨著ABC（AI，Bigdata，Cloud）和5G的推動(dòng)，從端到云都可能面臨“算不過(guò)來(lái)”的窘境，這對(duì)于擅長(zhǎng)做加速的FPGA來(lái)說(shuō)市場(chǎng)潛力極大。按照Gartner的預(yù)測(cè)，到2025年FPGA芯片市場(chǎng)將增長(zhǎng)到125億美金，非常值得期待。

然而，幾十年來(lái)，F(xiàn)PGA也一直面臨ASIC的競(jìng)爭(zhēng)。通常認(rèn)為，客戶的產(chǎn)品在達(dá)到一定體量后，從成本角度會(huì)遷移到ASIC。雪湖科技認(rèn)為，雖然這樣的競(jìng)爭(zhēng)無(wú)法避免，但如果能把“Crossover Point （交叉點(diǎn)）”往右邊延伸（如下圖1），那就能擴(kuò)大FPGA應(yīng)用市場(chǎng)的空間，充分受益于異構(gòu)計(jì)算強(qiáng)大的算力優(yōu)勢(shì)。所以雪湖科技選擇“用ASIC的思路去做FPGA開(kāi)發(fā)”，在應(yīng)用開(kāi)發(fā)的過(guò)程中，珍惜一點(diǎn)一滴的計(jì)算資源，從時(shí)間利用率和空間利用率上做優(yōu)化，最終通過(guò)提升FPGA的資源使用率來(lái)提升應(yīng)用端加速性能。而這樣給客戶帶來(lái)的價(jià)值就是，因?yàn)樾阅芴嵘娱L(zhǎng)了成本切換的時(shí)間點(diǎn)，讓一部分原本ASIC的市場(chǎng)變成FPGA的市場(chǎng)。即使在云端也是一樣，性能的極致優(yōu)化和提升可以為客戶提升TCO，剩下大把的成本，可以用來(lái)專注于提升云端的服務(wù)能力。

雪湖CEO張強(qiáng)在FPGA數(shù)值計(jì)算加速領(lǐng)域經(jīng)驗(yàn)豐富，曾經(jīng)參與過(guò)微軟基金會(huì)的創(chuàng)新項(xiàng)目“激光打蚊子”，在Vertex2PRO上實(shí)現(xiàn)了每秒鐘處理500幀圖片，每張圖片識(shí)別4096只蚊子的驚人效果，而這一些都是通過(guò)對(duì)計(jì)算資源極致優(yōu)化來(lái)完成的。雪湖已經(jīng)擁有40位FPGA開(kāi)發(fā)者人員，秉承“用設(shè)計(jì)ASIC的思路做FPGA的開(kāi)發(fā)”的理念，已經(jīng)成功在人工智能，智能駕駛，數(shù)據(jù)中心和高性能計(jì)算領(lǐng)域完成布局。

圖1 ?FPGA方案和ASIC方案成本比較 （出處：興業(yè)證券 《FPGA行業(yè)深度報(bào)告》）

03

Wide and Deep 加速器：算法懂你，還得懂賺錢

提升算力的關(guān)鍵，首先一定是硬件的提升，F(xiàn)PGA的低延遲及高吞吐相對(duì)GPU有絕對(duì)的優(yōu)勢(shì)，因此越來(lái)越多的企業(yè)意識(shí)到了這一點(diǎn)，已經(jīng)開(kāi)始率先使用FPGA來(lái)提升算力。

在賽靈思開(kāi)發(fā)者大會(huì)XDF 2019上，阿里云的 FPGA 異構(gòu)計(jì)算負(fù)責(zé)人張振祥也說(shuō)，在今年優(yōu)酷的國(guó)慶閱兵直播，以及天貓雙十一晚會(huì)直播，阿里云都采用了 FPGA的轉(zhuǎn)碼方案。我們了解到，天貓雙十一的圖片轉(zhuǎn)碼也都是用FPGA做的。這里可以看出一個(gè)趨勢(shì)，F(xiàn)PGA還會(huì)隨著雙十一銷售額交易量的攀升得到更為廣泛的運(yùn)用?？梢灶A(yù)見(jiàn)，F(xiàn)PGA在互聯(lián)網(wǎng)基礎(chǔ)業(yè)務(wù)領(lǐng)域有很多應(yīng)用場(chǎng)景。

雪湖也有幸參與到了本屆XDF，并且與賽靈思共同推出了基于賽靈思Alveo U200加速卡實(shí)現(xiàn)的“Wide and Deep廣告推薦算法加速解決方案”，相較于CPU服務(wù)器，基于FPGA加速器打造的這一解決方案，將吞吐量提高了3~5倍，加上功耗更低，其TOC（總體擁有成本）是CPU云的5倍以上。

圖2 FPGA vs CPU 基于FPGA的推薦算法性能比較（出處：雪湖科技）

推薦系統(tǒng)是互聯(lián)網(wǎng)公司運(yùn)營(yíng)的核心，內(nèi)容推薦會(huì)影響留存，轉(zhuǎn)化和成交轉(zhuǎn)化；廣告推薦會(huì)直接影響點(diǎn)擊率（CTR），進(jìn)而影響廣告收入。看到互聯(lián)網(wǎng)公司對(duì)廣告投放、內(nèi)容點(diǎn)擊率的痛點(diǎn)，我們開(kāi)發(fā)了基于FPGA的廣告推薦加速器。

推薦系統(tǒng)中，CTR（Click-Through-Rate，點(diǎn)擊率）至關(guān)重要，在云音樂(lè)推薦的“今日歌單”，抖音上的短視頻，購(gòu)物APP的“猜你喜歡”等場(chǎng)景中，CTR值反映的是推薦系統(tǒng)的準(zhǔn)確率，他影響著用戶是去是留，也決定著互聯(lián)網(wǎng)企業(yè)的廣告收益。

為了達(dá)成精準(zhǔn)的推薦和投放，2016年，谷歌提出了“Wide and Deep”算法模型，現(xiàn)在已經(jīng)被Facebook、Youtube等國(guó)際領(lǐng)先的互聯(lián)網(wǎng)公司廣泛使用。考慮到部署于GPU的成本高，這一算法以往采用CPU來(lái)加速，但性能并不理想。在這個(gè)背景下，我們與賽靈思針對(duì)數(shù)據(jù)中心廣告推薦算法加速推出“Wide and Deep算法推薦系統(tǒng)”高性能解決方案。

在完成推薦過(guò)程時(shí)，我們會(huì)根據(jù)用戶信息提取用戶自畫(huà)像和商品屬性，輸入到模型，再根據(jù)相應(yīng)算子得出最終結(jié)果?；谫愳`思U200構(gòu)建出的“Wide and Deep”加速器，能夠根據(jù)模型API制作出雪湖科技API，再由自研發(fā)的工具包將模型和數(shù)據(jù)轉(zhuǎn)換為可由FPGA處理的數(shù)據(jù)，從而快速計(jì)算出結(jié)果。

將結(jié)果進(jìn)行處理和排序后，也就是我們?nèi)粘？梢?jiàn)的推薦界面了。由于不同的用戶有不同的個(gè)人信息和喜好，經(jīng)過(guò)模型計(jì)算也會(huì)有不同的結(jié)果，也就對(duì)應(yīng)出不同的推薦內(nèi)容。

另外，考慮到大型推薦系統(tǒng)的上線都是通過(guò)云端部署，同時(shí)用在線和離線方式更新模型。除了U200加速卡，我們同樣支持Wide and Deep在阿里云FPGA服務(wù)器F3（FPGA：賽靈思 VU9P）上的部署應(yīng)用，用戶可以通過(guò)鏡像文件部署。根據(jù)最近的更新數(shù)據(jù)顯示，模型精度損失可控制在2/100000。當(dāng)模型更新時(shí)，通過(guò)雪湖科技提供的專有工具可直接載入模型參數(shù)，可做到一鍵式更新模型參數(shù)。

目前，互聯(lián)網(wǎng)公司在算法推薦上的需求持續(xù)增長(zhǎng)，在讓企業(yè)看到FPGA的性能預(yù)期之外，我們還希望通過(guò)這些操作上的便利，能提供到奉行最小可行性測(cè)試的互聯(lián)網(wǎng)行業(yè)最為喜聞樂(lè)見(jiàn)的方案，讓他們能低成本地?fù)肀ё兓M(jìn)一步滿足人們‘聽(tīng)我想聽(tīng)’、‘看我想看’、‘買我想買’的‘懶惰’需求，另一維度上，廣告主的帶貨KPI能被更高效的完成，企業(yè)的廣告售賣單價(jià)能夠提升，F(xiàn)PGA的價(jià)值也就體現(xiàn)了。

除了推薦算法，雪湖對(duì)于硬件加速和算力提升的探索還在繼續(xù)，“愿算力與你同在”！

關(guān)于作者

王韻，雪湖科技聯(lián)合創(chuàng)始人兼COO，日本國(guó)立九州大學(xué)碩士，師從著名產(chǎn)業(yè)經(jīng)濟(jì)學(xué)家山崎朗。半導(dǎo)體行業(yè)老兵，在該領(lǐng)域擁有超過(guò)15年工作經(jīng)驗(yàn)。曾服務(wù)于全球500強(qiáng)日本富士通集團(tuán)，任職亞太區(qū)高管負(fù)責(zé)半導(dǎo)體芯片的市場(chǎng)營(yíng)銷業(yè)務(wù)。

編輯：黃飛