常用的存储格式
TextFile
默认格式，按行存储，可以压缩但压缩文件不支持分片，反序列化开销是SequenceFile的几十倍(需要判断分隔符和换行符)
SequenceFile
hadoop原生支持，将kv以二进制方式按行存储，压缩后的文件支持压缩。默认以record压缩，可以改为block性能更好。压缩率很低，查询速度一般。
RCFile
按行分块、按列存储的存储方式，反序列化速度较慢，但压缩率和查询速度最快。
ORC file
RC的改良版，每个Task输出单文件、存储索引、支付复杂类型、支持块压缩、可以直接读取，ORC比RC高效很多。
Parquet
列式存储，是spark的默认存储格式，压缩和查询性能比ORC稍差，但是支持的编码更多，而且对嵌套式结构支持的更好(json)。
因此对结构化数仓来说ORC file格式更好，对灵活的spark作业来说Parquet格式更好。
相关推荐HOT
更多>>
大数据之蛇形矩阵
我们最终要输出的是以蛇形摆放之后的字符串再按行串联在一起之后的结果，也就是说每一个字母摆放的列并不重要，重要的是摆放的行号。我们可以很...详情>>
2022-12-07 20:58:39
大数据之两数相加
大数据通常包含的数据集的大小超出了常用软件工具在可容忍的经过时间内捕获、整理、管理和处理数据的能力。大数据哲学包含非结构化，半结构化和...详情>>
2022-12-07 20:56:39
设计一个实时的流式计算Wordcount
使用Kafka对接SparkStreaming计算，那么要保证数据不丢失，和不重复的话，要使用直连方式，并且保证一次性语义，手动管理Offset即可，那么在实...详情>>
2022-12-07 20:54:49
大数据之最长回文串
大数据通常包含的数据集的大小超出了常用软件工具在可容忍的经过时间内捕获、整理、管理和处理数据的能力。大数据哲学包含非结构化，半结构化和...详情>>
2022-12-07 20:51:53
两两交换链表中的节点
大数据通常包含的数据集的大小超出了常用软件工具在可容忍的经过时间内捕获、整理、管理和处理数据的能力。大数据哲学包含非结构化，半结构化和...详情>>
2022-12-07 20:46:54
大数据培训问答更多>>
新大数据需要学哪些内容？要具备哪些能力呢
新大数据培训怎么学？怎么选择培训机构呢
新大数据培训要学哪些课程？会不会很复杂呢
新大数据分析平台哪个好？选择标准有哪些
新大数据思维包括哪些主要内容？
新大数据分析工具有哪些？我们如何掌握
新参加完大数据培训后好就业吗？
大数据面试题库 更多>>
大数据的五个V是什么?
数据及集群管理（三）
数据及集群管理（二）
数据及集群管理（一）
大数据之hbase的优化读数据方面
大数据之hbase的优化写入数据方面
开班信息
北京校区
- 北京校区
- 大连校区
- 广州校区
- 成都校区
- 杭州校区
- 长沙校区
- 合肥校区
- 南京校区
- 上海校区
- 深圳校区
- 武汉校区
- 郑州校区
- 西安校区
- 青岛校区
- 重庆校区
- 太原校区
- 沈阳校区
- 北京校区
- 大连校区
- 广州校区
- 成都校区
- 杭州校区
- 长沙校区
- 合肥校区
- 南京校区
- 上海校区
- 深圳校区
- 武汉校区
- 郑州校区
- 西安校区
- 青岛校区
- 重庆校区
- 太原校区
- 沈阳校区
京公网安备 11010802030320号