千锋教育-做有情怀、有良心、有品质的职业教育机构

手机站
千锋教育

千锋学习站 | 随时随地免费学

千锋教育

扫一扫进入千锋手机站

领取全套视频
千锋教育

关注千锋学习站小程序
随时随地免费学习课程

首页 视频教程 培训课程 师资团队 技术干货 常见问题 面试题 职场就业 零基础学大数据 行业资讯
【热点话题】 大数据技术干货 大数据学习教程 大数据学习笔记 大数据面试题 大数据培训问答 大数据培训机构哪些好 大数据职场就业
当前位置:大数据培训  >  大数据学习教程  >  Kafka工作原理入门

Kafka工作原理入门

来源:千锋教育
发布人:wjy
时间: 2022-12-09 15:35:00 1670571300

  Kafka在大数据技术生态当中,以作为消息系统而闻名,面对活跃的流式数据,提供高吞吐量的服务,在实时大数据处理场景下,可以说是一大利器,国内外大厂都有应用。今天的大数据开发技术分享,我们就主要来讲讲Kafka框架的工作原理。

  Kafka概述

  官方定义,Kakfa是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据的实时处理领域。

Kafka工作原理入门 1

  通常来说,消息队列的模式分为两种:

  ①点对点模式:消息生产者发送消息到消息队列中,然后消息消费者从队列中取出并且消费消息,消息被消费后,队列中不在存储。

  ②发布/订阅模式(一对多,消费者消费数据之后不会清除消息):消息生产者将消息发布到Topic中,同时有多个消息消费者(订阅)消费该消息。

  Kafka就是典型的发布/订阅模式,更加适用于实时大数据场景下的消息服务。

  Kafka基础架构

  Kafka的基础架构主要有Broker、生产者、消费者组构成,当前还包括ZooKeeper。

  

Kafka工作原理入门 2

  生产者负责发送消息,Broker负责缓冲消息,Broker中可以创建Topic,每个Topic又有Partition和Replication的概念。

  消费者组负责处理消息,同一个消费者组的消费者不能消费同一个Partition中的数据。

  消费者组主要是提高消费能力,比如之前是一个消费者消费100条数据,现在是2个消费者消费100条数据,可以提高消费能力。

  所以消费者组的消费者的个数要小于Partition的个数,不然就会有消费者没有Partition可以消费,造成资源的浪费。

  注意:不同消费者组的消费者是可以消费相同的Partition数据。

  Kakfa如果要组件集群,则只需要注册到一个ZooKeeper中就可以了,ZooKeeper中还保留消息消费的进度或者说偏移量或者消费位置:

  0.9之前的版本偏移量存储在ZooKeeper。

  0.9之后的版本偏移量存储在Kafka中。Kafka定义了一个系统Topic,专用用来存储偏移量的数据。这样做主要是考虑到频繁更改偏移量,对ZooKeeper的压力较大,而且Kafka本身自己的处理也较复杂。

  Kafka不能保证消息的全局有序,只能保证消息在Partition内有序,因为消费者消费消息是在不同的Partition中随机的。

  Kafka工作流程

  Kafka中的消息是以Topic进行分类的,生产者生成消息、消费者消费消息都面向Topic。

  

Kafka工作原理入门 3

  Topic是一个逻辑上的概念,而Partition是物理上的概念。每个Partition又有副本的概念。

  每个Partition对应于一个Log文件,该Log文件中存储的就是生产者生成的数据,生产者生成的数据会不断的追加到该Log的文件末端。

  且每条数据都有自己的Offset,消费者都会实时记录自己消费到了那个Offset,以便出错的时候从上次的位置继续消费,这个Offset就保存在Index文件中。

  Kafka的Offset是分区内有序的,但是在不同分区中是无顺序的,Kafka不保证数据的全局有序。

  Kafka在大数据技术生态当中,普及度是非常高的,尤其是拥有丰富数据资源的企业,更加青睐于使用kafka

  注:本文部分文字和图片来源于网络,如有侵权,请联系删除。版权归原作者所有!此页面下方声明无效!

声明:本站稿件版权均属千锋教育所有,未经许可不得擅自转载。

猜你喜欢LIKE

最新文章NEW

相关推荐HOT

更多>>

开班信息
北京校区
  • 北京校区
  • 大连校区
  • 广州校区
  • 成都校区
  • 杭州校区
  • 长沙校区
  • 合肥校区
  • 南京校区
  • 上海校区
  • 深圳校区
  • 武汉校区
  • 郑州校区
  • 西安校区
  • 青岛校区
  • 重庆校区
  • 太原校区
  • 沈阳校区

14天品质课程免费学

10年以上业内强师带你蜕变精英

提交领取