千锋教育-做有情怀、有良心、有品质的职业教育机构

手机站
千锋教育

千锋学习站 | 随时随地免费学

千锋教育

扫一扫进入千锋手机站

领取全套视频
千锋教育

关注千锋学习站小程序
随时随地免费学习课程

首页 视频教程 培训课程 师资团队 技术干货 常见问题 面试题 职场就业 零基础学大数据 行业资讯
【热点话题】 大数据技术干货 大数据学习教程 大数据学习笔记 大数据面试题 大数据培训问答 大数据培训机构哪些好 大数据职场就业
当前位置:大数据培训  >  大数据面试题  >  大数据面试题-数仓分层(重点)

大数据面试题-数仓分层(重点)

来源:千锋教育
发布人:qyf
时间: 2022-12-08 17:47:00 1670492820

数仓分层(重点)

  数仓往往分为三层,ods、dw、dm,而dw层又可以根据业务细分为dwd、dws、dwa等多层

  ods层

  操作型数据层,存放的是从不同来源进入数仓的原始数据,ods层往往只存放少量加工的原始数据,因此这里的数据不是集成的。

  dw层

  数据仓库的核心,它根据数仓架构可能再次细分多层:

  dwd层

  数据细节层。将ods层的数据统一整合后,依照各

  主题需要将数据拆分存储,常见的星型模型和雪花模型就是在这一层。

  dws层

  数据服务层。按照范式存储的数据在分析时往往需要进行多表join,这样的分析效率很低,因此需要将dwd层的数据按照分析需求提前进行整合。由于主题之间的重合,该层的设计是反三范式的,存在数据冗余。

  除了上述分层以外,dw还有基础数据层、轻度汇总层等等,根据数仓架构而定。

  DIM层

  维度层。有些数仓会将dwd层中的维度表单独抽离出来维护。

  dm层

  存放使用DW层数据进行业务统计的结果,它们可能被用于线上可视化的指标分析,也可能用于进一步的数据挖掘使用。

  ads层

  存放数据指标应用结果数据层,主要用于对接后端业务,进行数据可视化展示及数据查询服务

  分层作用

  复杂问题简单化、减少重复计算、血缘追踪、架构更清晰

声明:本站稿件版权均属千锋教育所有,未经许可不得擅自转载。

猜你喜欢LIKE

最新文章NEW

相关推荐HOT

更多>>