首頁 >> 國遙動態 >> 技術分享 >> 多源異構數據通用引接模塊技術解析
    多源異構數據通用引接模塊技術解析
    發布時間:2022-07-22 | 來源: | 點擊量:1053

    概述

     目前行業應用數據種類繁多,在數據治理、共享應用的前期,進行各類數據收集匯總,構建原始數據資源池,成為數據管理應用的重要一環。通過多源異構數據通用引接模塊可以實現各類數據的收集與管理。

    一、在線數據接引

     在線數據接引主要包括數據庫接引、API接口接引、實時報文接引。

    1、數據庫接引

     以Python技術為基礎,集成各類數據庫操作組件,構建數據庫引擎,通過數據庫地址、用戶、密碼等信息實現數據庫的直接連接。連接測試成功,即可獲取數據庫中的數據表清單。

     用戶根據具體業務需求,選擇需要的數據表(部分或全部),確定接引的外部源數據。通過本地原始數據管理,創建數據庫作為接引目標庫。支持增量接引和覆蓋接引,支持定時引接和一次性引接。

    1.png

    數據庫表接引模型

    2、API接口接引

     API接口由外部業務系統提供,用于獲取相關數據。以Python技術為基礎,搭建API接口引擎,支持POST、GET等接入方式,實現接口數據的獲取。返回結果為json格式,分為結構化和半結構化數據。

    2.png

    API接口接引模型

    3、實時報文接引

     以Python技術為基礎,針對不同的報文格式進行解析組件開發,形成解析組件庫,實現數據的連接、接收、數據解析,形成結構化數據集合。

    3.png

    實時報文接引模型

    二、離線數據接引

     支持Excel、Json、離線數據庫文件、二進制文件以及其他文檔資料的接引,針對性的設計接引模型,實現離線數據的導入匯聚。

    1、Excel類型數據接引模型

     將Excel文件通過導入功能上傳到服務器,預存在文件存儲數據庫中,系統根據數據庫表字段對應配置,通過調用Python通用解析組件,將上傳的Excel文件入庫到指定數據表及數據庫中。

    4.png

    Excel類型數據接引模型

    2、Json文件接引模型

     將Json文件通過導入功能上傳到服務器,預存在文件存儲數據庫中,系統通過調用Json通用解析組件,將上傳的Json文件解析為Json結構數據,根據頁面配置需要信息及對應表字段,將Json文件數據入庫到指定數據表及數據庫中。

    5.png

    Json文件接引模型

    3、DB離線數據庫接引模型

     將DB離線數據通過導入功能上傳到服務器,預存在文件存儲數據庫中,系統通過調用DB庫連接實例,將DB文件解析為表及數據記錄,根據指定存儲目標表及對應字段,入庫到相應數據庫中。

    6.png

    DB離線數據庫接引模型

    4、二進制文件接引模型

     將二進制文件數據通過導入功能上傳到服務器,預存在文件存儲數據庫中,系統通過調用特定解析組件,根據表字段對應配置,將二進制文件解析為數據記錄,入庫到相應數據庫中。

    7.png

    二進制文件接引模型

    5、文件資料接引模型

     將音視頻、圖像、文件資料、其他文件資料等文件數據通過導入功能上傳到服務器,預存在文件存儲數據庫中,系統新增文件資料表,并將文件數據存儲在結構化數據庫中。

    8.png

    文件資料接引模型

    国产亚洲AV一级毛卡片,无码亚洲国产一区二区,亚洲精品ady无码专区_高清