在了解oneID前,先來看一下阿里的oneDate體系。其實(shí)OneID在整個(gè)數(shù)據(jù)服務(wù)體系中,也只是起點(diǎn)不是終點(diǎn)或者說是手段,我們最終的目的是為了建設(shè)統(tǒng)一的數(shù)據(jù)資產(chǎn)體系。
沒有建設(shè)統(tǒng)一的數(shù)據(jù)資產(chǎn)體系之前,我們的數(shù)據(jù)體系建設(shè)存在下面諸多問題
- 數(shù)據(jù)孤島:各產(chǎn)品、業(yè)務(wù)的數(shù)據(jù)相互隔離,難以通過共性ID打通
- 重復(fù)建設(shè):重復(fù)的開發(fā)、計(jì)算、存儲(chǔ),帶來高昂的數(shù)據(jù)成本
- 數(shù)據(jù)歧義:指標(biāo)定義口徑不一致,造成計(jì)算偏差,應(yīng)用困難
在阿里巴巴 OneData 體系中,OneID 指統(tǒng)一數(shù)據(jù)萃取,是一套解決數(shù)據(jù)孤島問題的思想和方法。數(shù)據(jù)孤島是企業(yè)發(fā)展到一定階段后普遍遇到的問題。各個(gè)部門、業(yè)務(wù)、產(chǎn)品,各自定義和存儲(chǔ)其數(shù)據(jù),使得這些數(shù)據(jù)間難以關(guān)聯(lián),變成孤島一般的存在。
OneID的做法是通過統(tǒng)一的實(shí)體識(shí)別和連接,打破數(shù)據(jù)孤島,實(shí)現(xiàn)數(shù)據(jù)通融。簡(jiǎn)單來說,用戶、設(shè)備等業(yè)務(wù)實(shí)體,在對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)中,會(huì)被映射為唯一識(shí)別(UID)上,其各個(gè)維度的數(shù)據(jù)通過這個(gè)UID進(jìn)行關(guān)聯(lián)。
各個(gè)部門、業(yè)務(wù)、產(chǎn)品對(duì)業(yè)務(wù)實(shí)體的UID的定義和實(shí)現(xiàn)不一樣,使得數(shù)據(jù)間無法直接關(guān)聯(lián),成為了數(shù)據(jù)孤島?;?a target="_blank">手機(jī)號(hào)、身份證、郵箱、設(shè)備ID等信息,結(jié)合業(yè)務(wù)規(guī)則、機(jī)器學(xué)習(xí)、圖算法等算法,進(jìn)行 ID-Mapping,將各種 UID 都映射到統(tǒng)一ID上。通過這個(gè)統(tǒng)一ID,便可關(guān)聯(lián)起各個(gè)數(shù)據(jù)孤島的數(shù)據(jù),實(shí)現(xiàn)數(shù)據(jù)通融,以確保業(yè)務(wù)分析、用戶畫像等數(shù)據(jù)應(yīng)用的準(zhǔn)確和全面。下面就來介紹一下主數(shù)據(jù)和OneID。
— 01 —
OneID 和主數(shù)據(jù)到底是不是一回事?
在阿里巴巴 OneData 體系中,OneID 指統(tǒng)一數(shù)據(jù)萃取,是一套解決數(shù)據(jù)孤島問題的思想和方法。
如果單看這個(gè)定義,你一定也會(huì)和我一樣懵逼,啥是數(shù)據(jù)萃?。拷鉀Q數(shù)據(jù)孤島問題,主數(shù)據(jù)不也是干這個(gè)事情的嗎?
別急,我們慢慢分解,先來看 OneID 到底是干啥的。
OneID 也叫 ID-Mapping,就是將設(shè)備 ID(例如手機(jī) MAC、IMEI、IMSI 等),手機(jī)號(hào)、身份證號(hào)、郵箱地址、PC 端的 Cookie,用戶名等信息,結(jié)合標(biāo)簽體系、知識(shí)圖譜、機(jī)器學(xué)習(xí)等技術(shù)和算法,將各種 ID 都映射到統(tǒng)一的 ID 上。也就是說不論用戶用什么 ID 登陸,不論登陸的是 PC 端還是手機(jī) APP,都能識(shí)別到他的一個(gè)唯一身份。
OneID 干的這個(gè)事情是不是和主數(shù)據(jù)有點(diǎn)類似?主數(shù)據(jù)也是給數(shù)據(jù)對(duì)象賦予一個(gè)唯一的編碼(身份)。
但是,不得不承認(rèn),OneID 和主數(shù)據(jù)還是有很大區(qū)別的,如下:
第一,解決問題的環(huán)境不同。OneID 主要是解決 ToC 業(yè)務(wù),不同渠道、不同數(shù)據(jù)來源的用戶身份的統(tǒng)一映射和識(shí)別問題,例如:PC 端、移動(dòng) APP,微信小程序、相關(guān)應(yīng)用系統(tǒng)等。而主數(shù)據(jù)是對(duì)相同數(shù)據(jù)對(duì)象進(jìn)行標(biāo)準(zhǔn)化定義并賦予唯一編碼,更多的是用 ToB 業(yè)務(wù)中,解決企業(yè)內(nèi)部異構(gòu)系統(tǒng)之間數(shù)據(jù)不一致問題。
第二,解決問題的“地點(diǎn)”不同。OneID 是把各類 UID 信息匯聚在一起,在一個(gè)地方進(jìn)行加工和處理,最后形成統(tǒng)一的 Mapping 關(guān)系,阿里管這個(gè)地方叫做“數(shù)據(jù)中臺(tái)”。而主數(shù)據(jù)強(qiáng)調(diào)的是從源頭統(tǒng)一標(biāo)準(zhǔn),定義唯一編碼,各異構(gòu)系統(tǒng)都依據(jù)統(tǒng)一的標(biāo)準(zhǔn)執(zhí)行,映射關(guān)系是建立在各異構(gòu)系統(tǒng)中的。
第三,解決問題的技術(shù)不同。OneID 是典型的 OLAP 技術(shù),是在產(chǎn)生數(shù)據(jù)之后通過大數(shù)據(jù)分析、人工智能算法等技術(shù)將各種 UID 都映射到統(tǒng)一的 ID 上。而主數(shù)據(jù)是典型的 OLTP 技術(shù),其本身是對(duì)數(shù)據(jù)的增刪改查操作,例如客戶主數(shù)據(jù)的定義和編碼。
— 02 —
數(shù)據(jù)中臺(tái)為什么需要 OneID?
接觸過企業(yè)數(shù)據(jù)平臺(tái)的人都會(huì)知道,數(shù)據(jù)孤島是企業(yè)發(fā)展到一定階段后普遍會(huì)遇到的問題。企業(yè)內(nèi)部的各個(gè)部門、業(yè)務(wù)、產(chǎn)品,各自定義和存儲(chǔ)其數(shù)據(jù),使得這些數(shù)據(jù)間都是相互割裂、難以關(guān)聯(lián),從而真正變成“孤島”一般的存在,在業(yè)務(wù)價(jià)值上很難發(fā)揮出更多作用。
普遍存在的數(shù)據(jù)孤島現(xiàn)象,各部門用的平臺(tái)不同,且數(shù)據(jù)不相通
OneID的建立,就是為了打通這種數(shù)據(jù)孤島的現(xiàn)狀,通過打通分散在各個(gè)平臺(tái)的用戶數(shù)據(jù),整合客戶全生命周期旅程,實(shí)現(xiàn)各平臺(tái)存儲(chǔ)的數(shù)據(jù)通融,從而提升業(yè)務(wù)效率和用戶體驗(yàn)。
** ONEID的業(yè)務(wù)價(jià)值和數(shù)據(jù)管理價(jià)值**
業(yè)務(wù)價(jià)值:通過OneID貫穿客戶生命周期,精準(zhǔn)識(shí)別客戶行為(瀏覽、留資、到店等行為軌跡),相當(dāng)于為每一位用戶量身定制了屬于自己的完整的“身份和行為”的“名片”,為營(yíng)銷場(chǎng)景的落地(廣告定投、精準(zhǔn)推送、個(gè)性化推薦、增換購(gòu)、流失預(yù)警等場(chǎng)景)和精益化運(yùn)營(yíng)的需要(精準(zhǔn)客戶數(shù)據(jù)分析、精準(zhǔn)人群定位、精準(zhǔn)圈層運(yùn)營(yíng)、經(jīng)銷商客戶信息溯源等)提供支持。
數(shù)據(jù)管理價(jià)值:業(yè)務(wù)價(jià)值主要傾向于OneID對(duì)外為企業(yè)帶來的營(yíng)銷便利、利潤(rùn)增長(zhǎng),數(shù)據(jù)管理價(jià)值主要傾向于對(duì)內(nèi)形成的“互助”作用。OneID的構(gòu)建有助于數(shù)據(jù)資產(chǎn)的沉淀,便于企業(yè)的數(shù)據(jù)管理、數(shù)據(jù)資產(chǎn)的可視化和可評(píng)估化等,同時(shí),OneID還可滿足其他平臺(tái)的一些需求,如CDP平臺(tái)、數(shù)據(jù)中臺(tái)等,為其提供一定的支持。
總而言之,OneID的構(gòu)建,是為了支撐各業(yè)務(wù)方管理決策及應(yīng)用落地,從而達(dá)到提升業(yè)務(wù)效率及客戶體驗(yàn),且數(shù)據(jù)應(yīng)用準(zhǔn)確而全面的最終目的。
— 03 —
OneID 和主數(shù)據(jù)的實(shí)現(xiàn)原理
OneID 是對(duì)不同渠道、不同來源的的“ID”進(jìn)行統(tǒng)一拉齊和打通,其實(shí)現(xiàn)原理如下:
為了方便理解,這里給出的例子是比較簡(jiǎn)單的,但在實(shí)際實(shí)施過程中,其應(yīng)用要復(fù)雜很多,例如:相同 ID 的值不一致怎么辦,重復(fù)的 ID 如何合并,ID 信息發(fā)生變化如何更新,Mapping 表的更新頻率如何設(shè)置等等,這些問題就需要結(jié)合具體場(chǎng)景解決了。
我們?cè)賮砜纯粗鲾?shù)據(jù)管理(MDM)的工作原理:
主數(shù)據(jù)管理強(qiáng)調(diào)在源頭治理,即:在數(shù)據(jù)源系統(tǒng)定義實(shí)現(xiàn)主數(shù)據(jù)的標(biāo)準(zhǔn)化,生成唯一主數(shù)據(jù)編碼,并通過主數(shù)據(jù)系統(tǒng)分發(fā)標(biāo)準(zhǔn)數(shù)據(jù)到相關(guān)消費(fèi)系統(tǒng)進(jìn)行使用,消費(fèi)系統(tǒng)只有查詢和使用權(quán)不能對(duì)主數(shù)據(jù)進(jìn)行“增刪改”。另外,不同主數(shù)據(jù)的來源系統(tǒng)不同,如在這個(gè)例子中的客戶主數(shù)據(jù)來源為 CRM,物料主數(shù)據(jù)的來源為 MDM,ERP 系統(tǒng)和數(shù)據(jù)倉庫是主數(shù)據(jù)的消費(fèi)系統(tǒng)。
— 04 —
有了數(shù)據(jù)中臺(tái),還需要主數(shù)據(jù)嗎?
在很多數(shù)據(jù)中臺(tái)的解決方案中,主數(shù)據(jù)是數(shù)據(jù)中臺(tái)的一個(gè)組成部分。例如在 SAP 的數(shù)字平臺(tái)解決方案中,數(shù)據(jù)中臺(tái)是由數(shù)據(jù)集成、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)倉庫、開發(fā)建模、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)管控、人工智能與行業(yè)模版等多個(gè)部分組成。其中,數(shù)據(jù)管控模塊中就包含了主數(shù)據(jù)治理,如下圖:
很多人都有個(gè)疑問,數(shù)據(jù)中臺(tái)中既包含了數(shù)據(jù)采集/數(shù)據(jù)移動(dòng)的能力,也包含數(shù)據(jù)服務(wù)共享的能力,同時(shí)還具備元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等數(shù)據(jù)治理能力,有了數(shù)據(jù)中臺(tái),為什么還需要主數(shù)據(jù)管理?
數(shù)據(jù)中臺(tái)通過數(shù)據(jù)采集、清洗、治理,再以標(biāo)準(zhǔn)接口服務(wù)的形式提供出去,供其他系統(tǒng)調(diào)用,這確實(shí)是數(shù)據(jù)中臺(tái)的核心能力。從功能的角度,主數(shù)據(jù)管理也的確有類似的功能,例如:主數(shù)據(jù)采集、主數(shù)據(jù)清洗、主數(shù)據(jù)服務(wù)等。
但是,我們之前也說過,主數(shù)據(jù)與數(shù)據(jù)中臺(tái)解決的問題并不相同。
數(shù)據(jù)中臺(tái)是在有了數(shù)據(jù)之后,在中臺(tái)進(jìn)行數(shù)據(jù)治理,形成數(shù)據(jù)資產(chǎn)并提供數(shù)據(jù)服務(wù)。而主數(shù)據(jù)更強(qiáng)調(diào)在數(shù)據(jù)產(chǎn)生之前定義數(shù)據(jù)標(biāo)準(zhǔn),建立數(shù)據(jù)管理流程,并在數(shù)據(jù)產(chǎn)生的過程中對(duì)數(shù)據(jù)質(zhì)量進(jìn)行校驗(yàn),從源頭進(jìn)行數(shù)據(jù)治理。
因此,相對(duì)于數(shù)據(jù)中臺(tái)來講,主數(shù)據(jù)管理是一個(gè)后臺(tái)系統(tǒng),它可以作為數(shù)據(jù)中臺(tái)的一個(gè)數(shù)據(jù)源為數(shù)據(jù)中臺(tái)供應(yīng)高質(zhì)量的數(shù)據(jù)。
設(shè)想一下:如果沒有主數(shù)據(jù)管理,從各個(gè)異構(gòu)系統(tǒng)中采集到數(shù)據(jù)中臺(tái)的主數(shù)據(jù)(如:客戶、產(chǎn)品、供應(yīng)商等)將有不同的定義和編碼,這就需要在數(shù)據(jù)中臺(tái)對(duì)這些不一致的數(shù)據(jù)進(jìn)行統(tǒng)一治理,這將是一件非常痛苦的事情,而且不能從源頭上解決問題。因此在筆者看來,站在整體解決方案的角度,將主數(shù)據(jù)治理提前,對(duì)于傳統(tǒng)企業(yè)來講可能是不錯(cuò)的解決方案。
— 05 —
有了數(shù)據(jù)中臺(tái),還需要主數(shù)據(jù)嗎?
主數(shù)據(jù)的核心目的是在單一業(yè)務(wù)領(lǐng)域中,各系統(tǒng)進(jìn)行核心數(shù)據(jù)的統(tǒng)一,兩個(gè)關(guān)鍵詞: 業(yè)務(wù)系統(tǒng)和統(tǒng)一 。
One ID的核心目的是跨業(yè)務(wù)領(lǐng)域的數(shù)據(jù)連通,兩個(gè)關(guān)鍵詞:跨業(yè)務(wù)領(lǐng)域、連通。
所以,OneID是放大版的主數(shù)據(jù),主數(shù)據(jù)可以作為OneID的輸入。
-
數(shù)據(jù)倉庫
+關(guān)注
關(guān)注
0文章
61瀏覽量
10446 -
阿里
+關(guān)注
關(guān)注
6文章
438瀏覽量
32828
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論