數據交換平臺
發布日期:2016-06-27 來源:研發中心

概述:

天誠數據交換平臺分為C/S基于ETL工具進行數據抽取(Extract)、轉換(Transform)、裝載(Load)的過程。轉換功能全,使用簡潔。作業項豐富,流程合理。 java語言編寫,支持的數據源范圍廣,所以,跨平臺性較好。B/S可以隨時進行終端監控數據作業項狀態查看,作業的啟動時間,完成時間,正在運行的作業信息,可以看到每個作業項導入數據的讀、寫、更新、舍棄、錯誤、輸入、輸出。

天誠數據交換平臺致力于為政府部門進行數據采集,解決省級或市級單位與地區級進行數據同步,完成數據層和服務層中同層或異層間的數據交換,能為實現不同網絡系統、不同操作系統、異構數據庫、不同數據格式、不同地域的應用系統之間的信息共享與交換,提供數據處理和數據傳遞服務。

物理邊界分析,數據交換平臺的機器設備分部在全省各縣、市(地區)區及機關單位,每個機關單位都有一個數據交換平臺的前置機(如數據服務器、資源服務器和WEB服務器可以共用一臺機器),每個縣或市都有一個數據交換中心,前置機和交換中心通過中間件跨地域成一個數據交換平臺,前置機是數據交換平臺和各縣市區業務系統的邊界線,如下圖所示:

轉換功能,數據交換平臺提供數據的格式轉換功能,能將文本文件、XML文件、數據庫、JMS提供的數據通過過濾、組合處理,對數據進行格式轉換和過濾清洗,成為干凈的符合條件的數據。

數據采集、同步及入庫功能,平臺能定時或自動的從前置機數據庫中采集相應數據,同步到市中心或省中心數據庫,數據可以是格式文件、數據庫、及外部系統調用平臺的接口API傳入的數據。

數據交換的平臺約束之相對獨立性,數據交換平臺獨立于各個業務應用系統的業務邏輯,數據傳輸與數據的內容、形式無關。同時,數據交換平臺與現有的業務應用系統應保持相互隔離和透明,數據交換平臺對現有業務應用系統沒有影響或盡量減少影響。

數據交換的平臺約束之松耦合性,各個跨部門跨地域的業務應用系統在使用統一的數據交換平臺時具有邏輯獨立性,其中任何系統出現故障,都不會對其他業務系統造成直接的危害和影響,唯一的影響只是出現故障的業務應用系統不能實時獲取或提供交換數據。

總體架構:

數據處理架構

天誠數據軟件交換平臺基于ETL進行數據采集處理,下面介紹下ETL特點:

ETL,Extraction-Transformation-Loading的縮寫,中文名稱為數據抽取、轉換和加載。ETL負責將分布的、異構 數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層后進行清洗、轉換、集成,最后加載到數據倉庫或數據集市中,成為聯機分析處理、數據挖掘的基礎。

ETL是數據倉庫中的非常重要的一環。它是承前啟后的必要的一步。相對于關系數據庫, 數據倉庫技術沒有嚴格的數學理論基礎,它更面向實際工程應用。所以從工程應用的角度來考慮,按著物理數據模型的要求加載數據并對數據進行一些系列處理,處 理過程與經驗直接相關,同時這部分的工作直接關系數據倉庫中數據的質量,從而影響到聯機分析處理和數據挖掘的結果的質量。

數據倉庫是一個獨立的數據環境,需要通過抽取過程將數據從聯機事務處理環境、外部數據源和脫機的數據存儲介質導入到數據倉庫中;在技術上,ETL主 要涉及到關聯、轉換、增量、調度和監控等幾個方面;數據倉庫系統中數據不要求與聯機事務處理系統中數據實時同步,所以ETL可以定時進行。但多個ETL的 操作時間、順序和成敗對數據倉庫中信息的有效性至關重要。

C/S端數據采集配置及B/S端數據監控實例:

日本中文字幕在线,深夜激情,在线h片,大西瓜av在线,激情图库