導(dǎo)語(yǔ)

可信工業(yè)數(shù)據(jù)空間是在現(xiàn)有信息網(wǎng)絡(luò)上搭建數(shù)據(jù)集聚、共享、流通和應(yīng)用的分布式關(guān)鍵數(shù)據(jù)基礎(chǔ)設(shè)施，通過(guò)體系化的技術(shù)安排確保數(shù)據(jù)流通協(xié)議的確認(rèn)、履行和維護(hù)，解決數(shù)據(jù)要素提供方、使用方、服務(wù)方等主體間的安全與信任問(wèn)題，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的數(shù)字化轉(zhuǎn)型。

★可信數(shù)據(jù)空間★

系列科普

Q1

元數(shù)據(jù)是什么？

元數(shù)據(jù)是對(duì)信息資源進(jìn)行描述、解釋、定位或使信息資源更易于被檢索、利用及管理的結(jié)構(gòu)化信息。元數(shù)據(jù)也被稱作數(shù)據(jù)的數(shù)據(jù)(dataaboutdata)或信息的信息(informationaboutinformation)。元數(shù)據(jù)管理是對(duì)數(shù)據(jù)的組織、數(shù)據(jù)域以及其關(guān)系信息的管理，貫穿整個(gè)數(shù)據(jù)價(jià)值流，覆蓋從數(shù)據(jù)產(chǎn)生、匯聚、加工到消費(fèi)的全生命周期。通過(guò)元數(shù)據(jù)管理，可以提升共享、重新獲取數(shù)據(jù)和理解企業(yè)信息資產(chǎn)的水平。

Q2

元數(shù)據(jù)的作用機(jī)理是什么？

元數(shù)據(jù)管理實(shí)現(xiàn)了業(yè)務(wù)數(shù)據(jù)中實(shí)體和數(shù)據(jù)字段元素的定義、語(yǔ)義、業(yè)務(wù)規(guī)則和算法以及數(shù)據(jù)特征，便于完成業(yè)務(wù)數(shù)據(jù)的收集、組織和管理。元數(shù)據(jù)管理技術(shù)包括對(duì)元數(shù)據(jù)的采集、元數(shù)據(jù)的存儲(chǔ)以及元數(shù)據(jù)的管理，如圖1所示。

圖1 元數(shù)據(jù)管理技術(shù)

元數(shù)據(jù)采集

在采集數(shù)據(jù)的時(shí)候，面對(duì)的大問(wèn)題就是多種類數(shù)據(jù)源解析適配，以及數(shù)據(jù)調(diào)度任務(wù)的抽象，必須開發(fā)對(duì)應(yīng)的工具來(lái)實(shí)現(xiàn)各種場(chǎng)景的元數(shù)據(jù)解析，對(duì)元數(shù)據(jù)采集的能力有兩方面要求：

數(shù)據(jù)解析：適配解析各種數(shù)據(jù)源特點(diǎn)，文件格式，SQL腳本，抽象任務(wù)等，完成標(biāo)準(zhǔn)元數(shù)據(jù)的轉(zhuǎn)換沉淀;

類型識(shí)別：十分復(fù)雜的一個(gè)節(jié)點(diǎn)，類型在描述數(shù)據(jù)的時(shí)候至關(guān)重要，結(jié)構(gòu)化存儲(chǔ)可以直接讀取，文件類結(jié)構(gòu)通常需要類型轉(zhuǎn)換標(biāo)識(shí)，任務(wù)流程會(huì)直接統(tǒng)一管理，依次保證數(shù)據(jù)在不同環(huán)境中的合理存儲(chǔ);

元數(shù)據(jù)的常見(jiàn)來(lái)源如下表：

表1 元數(shù)據(jù)來(lái)源

元數(shù)據(jù)存儲(chǔ)

包括存儲(chǔ)元數(shù)據(jù)以及元模型。元數(shù)據(jù)包含數(shù)據(jù)庫(kù)信息、數(shù)據(jù)表信息、表的字段信息等元信息，元模型是描述元數(shù)據(jù)的元數(shù)據(jù)。這些信息梳理存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中。

元數(shù)據(jù)通常分為業(yè)務(wù)、技術(shù)和操作三類：

業(yè)務(wù)元數(shù)據(jù)：描述業(yè)務(wù)領(lǐng)域的相關(guān)概念、關(guān)系和規(guī)則的數(shù)據(jù)，包括業(yè)務(wù)術(shù)語(yǔ)、信息分類、業(yè)務(wù)指標(biāo)、業(yè)務(wù)規(guī)則、資產(chǎn)目錄、Owner、數(shù)據(jù)密集等。

技術(shù)元數(shù)據(jù)：實(shí)施人員開發(fā)系統(tǒng)時(shí)使用的數(shù)據(jù)，包括模型的表與字段、ETL規(guī)則、集成關(guān)系等信息。

管理元數(shù)據(jù)：描述運(yùn)營(yíng)管理領(lǐng)域的相關(guān)概念，包括人員角色、崗位職責(zé)和管理流程、調(diào)度評(píng)率、訪問(wèn)日志等。

元數(shù)據(jù)管理

對(duì)收集到的元數(shù)據(jù)進(jìn)行管理包含如下3個(gè)方面：

元模型管理：即基于元數(shù)據(jù)平臺(tái)構(gòu)建符合CWM規(guī)范的元數(shù)據(jù)倉(cāng)庫(kù)，實(shí)現(xiàn)元模型統(tǒng)一、集中化管理，提供元模型的查詢、增加、修改、刪除、元數(shù)據(jù)關(guān)系管理、權(quán)限設(shè)置等功能，支持概念模型、邏輯模型、物理模型的采集和管理，讓用戶直觀地了解已有元模型的分類、統(tǒng)計(jì)、使用情況、變更追溯，以及每個(gè)元模型的生命周期管理。同時(shí)，支持應(yīng)用開發(fā)的模型管理。

元數(shù)據(jù)審核：主要是審核采集到元數(shù)據(jù)倉(cāng)庫(kù)但還未正式發(fā)布到數(shù)據(jù)資源目錄中的元數(shù)據(jù)。審核過(guò)程中支持對(duì)數(shù)據(jù)進(jìn)行有效性驗(yàn)證并修復(fù)一些問(wèn)題，例如缺乏語(yǔ)義描述、缺少字段、類型錯(cuò)誤、編碼缺失或不可識(shí)別的字符編碼等。

元數(shù)據(jù)維護(hù)：對(duì)信息對(duì)象的基本信息、屬性、被依賴關(guān)系、依賴關(guān)系、組合關(guān)系等元數(shù)據(jù)的新增、修改、刪除、查詢、發(fā)布等操作,支持根據(jù)元數(shù)據(jù)字典創(chuàng)建數(shù)據(jù)目錄，打印目錄結(jié)構(gòu)，根據(jù)目錄發(fā)現(xiàn)、查找元數(shù)據(jù)，查看元數(shù)據(jù)的內(nèi)容。元數(shù)據(jù)維護(hù)是最基本的元數(shù)據(jù)管理功能之一，技術(shù)人員和業(yè)務(wù)人員都會(huì)使用這個(gè)功能查看元數(shù)據(jù)的基本信息。

Q3

元數(shù)據(jù)能解決什么問(wèn)題

元數(shù)據(jù)管理作用于數(shù)據(jù)管理的全生命周期，能夠有效促進(jìn)數(shù)據(jù)資產(chǎn)的管理、交換、共享和開發(fā)利用，其在工業(yè)數(shù)據(jù)空間中可解決如下問(wèn)題：

促進(jìn)工業(yè)數(shù)據(jù)共享，元數(shù)據(jù)管理通過(guò)搭建標(biāo)準(zhǔn)統(tǒng)一的工業(yè)領(lǐng)域元數(shù)據(jù)體系，從業(yè)務(wù)、技術(shù)、操作3個(gè)方面，進(jìn)行分類和定義，賦予數(shù)據(jù)意義，可幫助使業(yè)務(wù)人員快速獲取可信數(shù)據(jù)。

提高工業(yè)數(shù)據(jù)的整合和溯源能力，元數(shù)據(jù)管理通過(guò)對(duì)所有的關(guān)鍵數(shù)據(jù)進(jìn)行系統(tǒng)整合和處理，用戶可以對(duì)數(shù)據(jù)處理流程追本溯源，了解業(yè)務(wù)處理規(guī)則，數(shù)據(jù)流通情況等。

激活工業(yè)數(shù)據(jù)活性：通過(guò)元數(shù)據(jù)管理，可以實(shí)現(xiàn)暗數(shù)據(jù)的透明化，增強(qiáng)數(shù)據(jù)活性，幫助解決工業(yè)數(shù)據(jù)資產(chǎn)盤點(diǎn)的問(wèn)題。

支持工業(yè)數(shù)據(jù)增值變現(xiàn)：元數(shù)據(jù)管理通過(guò)分析表模型可敏捷響應(yīng)海量增長(zhǎng)的數(shù)據(jù)分析需求，支持工業(yè)數(shù)據(jù)增值和數(shù)據(jù)變現(xiàn)。

建立工業(yè)數(shù)據(jù)質(zhì)量稽核體系，元數(shù)據(jù)管理通過(guò)建立篩選、核實(shí)、管理、報(bào)警、監(jiān)控的機(jī)制，支撐業(yè)務(wù)管理規(guī)則有效落地，保障數(shù)據(jù)內(nèi)容的合格、合規(guī)。

審核編輯：劉清