数据中台

　　数据中台是由阿里巴巴在2015年提出的概念。所谓数据中台，即实现数据的分层与水平解耦，沉淀公共的数据能力，可分为三层，数据模型、数据服务与数据开发，通过数据建模实现跨域数据整合和知识沉淀，通过数据服务实现对于数据的封装和开放，快速、灵活满足上层应用的要求，通过数据开发工具满足个性化数据和应用的需要

　　数仓构建

　　1). 前期业务**调研** 需求调研 数据调研 技术选型

　　2). 提炼业务**模型**，总线矩阵，划分主题域;

　　3). 定制**规范** 命名规范、开发规范、流程规范

　　4). 数仓架构**分层**：一般分为

　　操作数据层(ODS)、公共维度模型层(CDM)和应用数据层(ADS),其中公共维度模型层包括明细数据层(DWD和汇总数据层(DWS)

　　公共维度模型层(CDM)：存放明细事实数据、维表数据及公共指标汇总数据,其中明细事实数据、维表数据一般根据ODS层数据加工生成：公共指标汇总数据一般根据维表数据和明细事实数据加工生成。

　　CDM层又细分为DWD层和DWS层,分别是明细数据层和汇总数据层,采用维度模型方法作为理论基础,更多地采用一些维度退化手法,将维度退化至事实表中,减少事实表和维表的关联,提高明细数据表的易用性：同时在汇总数据层,加强指标的维度退化,采取更多的宽表化手段构建公共指标数据层,提升公共指标的复用性,减少重复加工。

　　应用数据层(ADS)：存放数据产品个性化的统计指标数据,根据CDM层与ODS层加工生成。

　　5).选择合适的数据模型，不同的行业涉选取的模型近不相同，合适的模型，更利于在数据存储，计算，开发，安全，以及数据查询的效率，更能体现数仓的价值。

上一篇

元数据管理apache atlas

下一篇

传统数仓的程度有哪些