千锋教育-做有情怀、有良心、有品质的职业教育机构

手机站
千锋教育

千锋学习站 | 随时随地免费学

千锋教育

扫一扫进入千锋手机站

领取全套视频
千锋教育

关注千锋学习站小程序
随时随地免费学习课程

首页 视频教程 培训课程 师资团队 技术干货 常见问题 面试题 职场就业 零基础学大数据 行业资讯
【热点话题】 大数据技术干货 大数据学习教程 大数据学习笔记 大数据面试题 大数据培训问答 大数据培训机构哪些好 大数据职场就业
当前位置:大数据培训  >  大数据学习教程  >  数据仓库建模之范式建模

数据仓库建模之范式建模

来源:千锋教育
发布人:syq
时间: 2022-12-09 12:11:35 1670559095

  在数据仓库领域,提起数据建模,范式建模作为一种经典的理论,其地位是不容小觑的。Inmon的范式建模理念,在传统业务的数据仓库建模当中,尤其受到青睐。今天的大数据开发分享,我们就来讲讲数据仓库建模之范式建模

数据仓库建模

  目前市面上已有的数据仓库模型有范式建模,维度建模,Data Vault 1.0+2.0,Anchor模型等,而使用最广泛的是Inmon的范式建模与Kimball的维度建模。

  范式建模

  Inmon提出的集线器的自上而下(EDW-DM)的数据仓库架构。操作型或事务型系统的数据源,通过ETL抽取转换和加载到数据仓库的ODS层,然后通过ODS的数据建设原子数据的数据仓库EDW,EDW不是多维格式的,不方便上层应用做数据分析,所以需要通过汇总建设成多维格式的数据集市层。

  优势:易于维护,高度集成;

  劣势:结构死板,部署周期较长

  范式建模分为三个主要的阶段:

  高层建模

  了解当前所有业务的关联实体,预判业务未来可能产生关系的实体,在企业业务角度对于实体合并主题,产出高度抽象的模型,包括主题的内容,主题的边界与主体之间的关系。

  中层模型

  在高层模型之下,对于每一主题确定主数据与其业务众多的属性,并确定在各个场景下能够关联的其他实体。

  物理模型

  在中层模型之下,基于不同的物理存储平台,基于平台特点设计物理属性,构建“a single source of truth”。

  范式建模应用在EDW层

  Inmon理论下结构就是:ODS、EDW和DM,也就是贴源层、主题模型层、共性加工层以及集市层。

  (1)ODS(贴源层):即这里存放的数据与原系统保持一致,将采集公司所有的系统产生的数据以及外部数据(包括合作数据以及爬虫获得的数据),将所采集的数据汇总到一起,供EDW和DM使用;

  (2)EDW:这一层分为两个,即ADM(共性加工层)和FDM(主题模型层)。其中FDM将从ODS层不同系统不同表的字段进行分类,同一主题的字段都归为一类,目前流行的十大主题;ADM是加工一些共性的指标,指标从ODS或者FDM的字段加工来,这层主要供集市层使用;

  (3)DM:数据集市层,这一层是将业务部门所关注的指标进行汇总,形成的数据,不同的业务部门可以形成不同的集市,具体情况可以视情况而定;集市层的架构可以细分为:基础层、汇总层和分析层。

  总体来说,范式建模的缺点很明显,因为要求自顶向下构建,对于设计者要求非常高,同样对于后续管理者也要求很高;完成大量的实体表与大量的关联关系非常耗时,也不能快速的产出业务价值,尤其是在起步的阶段很容易被质疑。

  但是范式建模并非一无是处,完整的范式建模数据冗余度非常小,那么意味着有更小的数据更新风险,包括逻辑断层;不论是在业务源变更或需求变更下都更加健壮。如果企业业务发展已经非常稳定,对于数据的稳定性要求非常高,那么可以尝试一下范式建模。

  关于大数据开发,数据仓库建模之范式建模,以上就为大家做了简单的介绍了。在大数据学习阶段,数据仓库是需要重点理解和掌握的一部分,而数仓建模更是其中的核心环节之一。

  【免责声明】本文部分系转载,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与联系我们,我们会予以更改或删除相关文章,以保证您的权益!此页面下方声明无效!

声明:本站稿件版权均属千锋教育所有,未经许可不得擅自转载。

猜你喜欢LIKE

最新文章NEW

相关推荐HOT

更多>>

开班信息
北京校区
  • 北京校区
  • 大连校区
  • 广州校区
  • 成都校区
  • 杭州校区
  • 长沙校区
  • 合肥校区
  • 南京校区
  • 上海校区
  • 深圳校区
  • 武汉校区
  • 郑州校区
  • 西安校区
  • 青岛校区
  • 重庆校区
  • 太原校区
  • 沈阳校区

14天品质课程免费学

10年以上业内强师带你蜕变精英

提交领取