讓 AI 的能力下沉到更多移動終端上,才能完全打開智能的想象力。前不久,金山 WPS 與 Google 合作,以 TensorFlow 架構(gòu)為辦公工具賦予了 AI 算力和功能。
借助 TensorFlow 和 TensorFlow Lite 在框架層的算法優(yōu)化能力,移動版 WPS 有多個業(yè)務(wù)場景開始使用 AI 算法,來進(jìn)行圖片的處理和轉(zhuǎn)換:
物體邊緣檢測。金山 WPS 設(shè)計的 CNN 文檔檢測網(wǎng)絡(luò),可以讓安卓版用戶快速檢測結(jié)果,自動判斷邊緣并調(diào)整濾鏡;
自動識別圖片類型。金山 WPS 利用 TensorFlow Lite 實(shí)現(xiàn)了能夠自動識別圖片類型的 OCR 模型,提供對應(yīng)的濾鏡和 OCR 輸出格式;
掃描件 OCR。采用 TensorFlow 部署模型,可以對文檔實(shí)現(xiàn)旋轉(zhuǎn)矯正、文本行檢測等操作,節(jié)省大量文檔編輯時間;
自然場景 OCR。利用 TensorFlow Lite 將自然場景 OCR 運(yùn)行在手機(jī)上,使它能在短時間內(nèi)從復(fù)雜場景中準(zhǔn)確定位文字并獲得理想的識別結(jié)果;
圖片轉(zhuǎn)文檔的布局分析。金山 WPS 結(jié)合 TensorFlow 與 scikit-learn 框架一起進(jìn)行圖文布局分析算法,大幅度降低了算法的研發(fā)成本。
金山 WPS 還對多種機(jī)器學(xué)習(xí)算法進(jìn)行了加工整合,從不同層次優(yōu)化和改進(jìn)了文檔轉(zhuǎn)圖片、內(nèi)容檢測等功能,解決了圖片轉(zhuǎn)文檔 “亂碼” 這一歷史難題。
金山與 TensorFlow 的協(xié)同工作,已經(jīng)帶來一些在移動端辦公領(lǐng)域的直觀效果:
高功耗、高能耗的實(shí)時 AI 處理在移動端成為可能;
閱讀體驗(yàn)升級,辦公 AI 功能解鎖,辦公效率進(jìn)一步提升;
WPS 正在打開端側(cè)部署 AI 的可能性。
從云到移動:金山 WPS 借助 TensorFlow Lite 實(shí)現(xiàn)的驚險一躍
從云端算法到移動端開發(fā)的實(shí)操階段,移動芯片端側(cè)運(yùn)算支撐力不足、云計算數(shù)據(jù)傳輸延遲,使得拍照識別這樣的實(shí)時運(yùn)算,用戶體驗(yàn)極差。但通過結(jié)合 TensorFlow Lite,金山 WPS 訓(xùn)練移動端模型快速地推進(jìn)了開發(fā)者的 AI 研發(fā)進(jìn)程。
TensorFlow Lite 在移動端具有以下明顯優(yōu)勢:
足夠?。河?xùn)練的 AI 模型可以很容易被壓縮和傳輸?shù)绞謾C(jī)端,對用戶的手機(jī)內(nèi)存十分友好;
圖像學(xué)習(xí)框架的輕量神經(jīng)網(wǎng)絡(luò)
手機(jī)機(jī)型兼容性好,對安卓天然親近:在數(shù)十臺機(jī)型上的穩(wěn)定性測試都表現(xiàn)很好;
高效的 “投影” 模型
移動端的適應(yīng)性強(qiáng):TensorFlow Lite 與 TensorFlow 的過渡平滑,不會增加大量的兼容成本;
TensorFlow Lite 的架構(gòu)設(shè)計
TensorFlow 社區(qū)資源豐富,具體的業(yè)務(wù)場景很容易找到相關(guān)參照系,并學(xué)習(xí)案例的集成方式。
那么,移動端友好的 TensorFlow Lite 又是如何被金山 WPS 部署到手機(jī)端的呢?
以文檔邊緣檢測為例:
首先,利用 tf.keras 可以很快完成深度網(wǎng)絡(luò)的構(gòu)建。在拍照掃描算法中,開發(fā)者設(shè)計了一個 5M 左右的 CNN 文檔檢測網(wǎng)絡(luò);
其次,將 tf.keras.Model 提供的 fit_generator 與 tf.data 靈活結(jié)合,對訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理,根據(jù)業(yè)務(wù)場景對訓(xùn)練數(shù)據(jù)進(jìn)行分組定義,然后構(gòu)造適合的代價函數(shù)。以此優(yōu)化訓(xùn)練性能,不斷地迭代優(yōu)化算法效果;
最后,把業(yè)務(wù)算法集成到 WPS,在多臺旗艦機(jī)上進(jìn)行穩(wěn)定測試。針對一些難點(diǎn)問題進(jìn)行分析迭代,直至穩(wěn)定上線。
至此,移動 AI 的開發(fā)者完成了從云端到移動端的驚險一躍。
從個案到公式:移動端 AI 開發(fā)的通識問題與解決之道
TensorFlow 在金山 WPS 辦公軟件上的落地,給移動端辦公帶來了奇妙的變化,也找到了移動端 AI 開發(fā)的通識問題與解決之道。
AI 落地的成本問題。解決之道:TensorFlow 能夠解決技術(shù)或算法實(shí)現(xiàn)商業(yè)化時如何低成本地解鎖需求的問題,而金山 WPS 能為技術(shù)解決方案提供足夠大的商業(yè)落地空間;
端側(cè) AI 的技術(shù)沉淀問題。解決之道:合作之后,金山仍在攻克很多難題,除了 TensorFlow Lite,金山 WPS 研發(fā)團(tuán)隊(duì)還掌握了幾款移動推理框架及一些小規(guī)模網(wǎng)絡(luò)設(shè)計的技巧;Google 也在發(fā)力,比如即將推出 TensorFlow 2.0,TensorFlow Lite 將支持更豐富的模型運(yùn)算方式。
此外,TensorFlow 與金山 WPS 合作的最大意義是讓我們看到:超強(qiáng)算力的 AI 硬件 + 移動端友好的深度學(xué)習(xí)框架 + 清晰廣泛的業(yè)務(wù)場景,才是幫助更多開發(fā)者打開想象的前提。
金山 WPS 在移動辦公上的努力實(shí)現(xiàn),使得移動 AI 開發(fā)這件事,在蔥蘢的生態(tài)下前所未有地真實(shí)起來。
-
AI
+關(guān)注
關(guān)注
87文章
30728瀏覽量
268871
原文標(biāo)題:金山 WPS:基于 TensorFlow 的 AI 移動辦公
文章出處:【微信號:tensorflowers,微信公眾號:Tensorflowers】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論