
當前,各大企業(yè)面臨著全量、多維、多樣、更新迭代迅速的大數(shù)據(jù)沖擊,對數(shù)據(jù)的采集、存儲、應用、分析、管控、擴容均提出了新的挑戰(zhàn)。傳統(tǒng)數(shù)據(jù)倉庫系統(tǒng)已經(jīng)無法滿足各大企業(yè)業(yè)務快速發(fā)展的需要。
我們應用最新的大數(shù)據(jù)技術,構架面向大數(shù)據(jù)的新一代數(shù)據(jù)倉庫平臺,以滿足新環(huán)境下海量數(shù)據(jù)、超高并發(fā)、實時計算、形式多樣的數(shù)據(jù)處理需求。予力創(chuàng)新,幫助各大企業(yè)加速數(shù)字化轉型。
數(shù)據(jù)和分析已然成為各大企業(yè)保持競爭力所不可或缺的部分。他們使用報告、控制面板和分析工具從其數(shù)據(jù)中獲得洞察力、監(jiān)控企業(yè)績效以及更明智地決策。這些報告、控制面板和分析工具由數(shù)據(jù)倉庫提供支持;數(shù)據(jù)倉庫可以高效地存儲數(shù)據(jù)以便最大限度地減少 I/O,并以極快的速度同時向成千上萬的用戶提供查詢結果。
數(shù)據(jù)倉庫是信息(對其進行分析可做出更明智的決策)的中央存儲庫。通常,數(shù)據(jù)定期從事務系統(tǒng)、關系數(shù)據(jù)庫和其他來源流入數(shù)據(jù)倉庫。業(yè)務分析師、數(shù)據(jù)科學家和決策者通過商業(yè)智能 (BI) 工具、SQL 客戶端和其他分析應用程序訪問數(shù)據(jù)。
數(shù)據(jù)倉庫的架構由四層組成。架構的底層是數(shù)據(jù)采集層,把數(shù)據(jù)從各種數(shù)據(jù)源中采集和存儲到數(shù)據(jù)存儲上,期間會做一些簡單清洗操作;數(shù)據(jù)存儲與分析層包括用于訪問和分析數(shù)據(jù)的分析引擎;數(shù)據(jù)共享層存放數(shù)據(jù)分析后的結果以共享給數(shù)據(jù)應用層使用;頂層是數(shù)據(jù)應用層,通過報告、分析和數(shù)據(jù)挖掘工具呈現(xiàn)結果的前端客戶端。
l 數(shù)據(jù)采集層
數(shù)據(jù)源種類可以有多種:
l 日志:所占份額最大,存儲在備份服務器上
l 業(yè)務數(shù)據(jù)庫:如Mysql、Oracle
l 來自HTTP/FTP的數(shù)據(jù):合作伙伴提供的接口
l 其他數(shù)據(jù)源:如Excel等需要手工錄入的數(shù)據(jù)
l … …
l 數(shù)據(jù)存儲與分析層
完成對數(shù)據(jù)倉庫/數(shù)據(jù)平臺的數(shù)據(jù)進行存儲分析的功能。
l 數(shù)據(jù)共享層
數(shù)據(jù)共享層是數(shù)據(jù)分析和計算結果的存放地方,使得各業(yè)務和產品能方便的獲取數(shù)據(jù)。
l 數(shù)據(jù)應用層
報表:報表所使用的數(shù)據(jù),一般也是已經(jīng)統(tǒng)計匯總好的,存放于數(shù)據(jù)共享層。
接口:接口的數(shù)據(jù)都是直接查詢數(shù)據(jù)共享層即可得到。
即席查詢:即席查詢通常是現(xiàn)有的報表和數(shù)據(jù)共享層的數(shù)據(jù)并不能滿足需求,需要從數(shù)據(jù)存儲層直接查詢。一般都是通過直接操作SQL得到。
數(shù)據(jù)倉庫的運作原理如下:將數(shù)據(jù)整理成描述數(shù)據(jù)布局和類型(例如整數(shù)、數(shù)據(jù)字段或字符串)的 Schema。提取的數(shù)據(jù)將存儲在 Schema 描述的各種表中。查詢工具使用 Schema 來確定要訪問和分析哪些數(shù)據(jù)表。
我們的數(shù)據(jù)倉庫解決方案具有如下特點:
( 1 )全面建成集團化企業(yè)多級數(shù)據(jù)倉庫,實現(xiàn)數(shù)據(jù)及業(yè)務系統(tǒng)的集中
( 2 ) 統(tǒng)一規(guī)劃各信息系統(tǒng)資源,統(tǒng)一數(shù)據(jù)建模,提高數(shù)據(jù)的規(guī)范化程度。
( 3 ) 實現(xiàn)數(shù)據(jù)的唯一性與共享性
( 4 )建立統(tǒng)一的安全體系,保證數(shù)據(jù)及業(yè)務系統(tǒng)的訪問安全
( 5 ) 結合數(shù)據(jù)倉庫建設,完善數(shù)據(jù)交換體系,實現(xiàn)多級數(shù)據(jù)中心間的級聯(lián)
( 6 ) 實現(xiàn)網(wǎng)絡、硬件、存儲設備、數(shù)據(jù)、業(yè)務系統(tǒng)和管理流程、 IT 采購流程、數(shù)據(jù)交換流程的統(tǒng)一集中
( 7 )統(tǒng)一的信息管理模式及統(tǒng)一的技術架構,能夠迅速地實施布署各種 IT 系統(tǒng),提升管理能力
( 8 )面向企業(yè)不同用戶提供個性化的訪問策略。
采用數(shù)據(jù)倉庫的收益包括:
l 更好地進行決策
l 整合多個來源的數(shù)據(jù)
l 數(shù)據(jù)質量高、一致且準確
l 智能查詢歷史數(shù)據(jù)
l 將分析處理從事務數(shù)據(jù)庫中分離出來,提高了兩個系統(tǒng)的性能。
Copyright ? 2018 武漢眾聯(lián)恒興科技有限公司. All Rights Reserved.
鄂ICP備17027558號-2 Designed by Wanhu