数据及集群管理（三）

来源：千锋教育

发布人：qyf

时间： 2022-12-09 18:13:54 1670580834

　　客户端拉取的时候指定列族

　　scan是指定需要column family，可以减少网络传输数据量，否则默认scan操作会返回整行所有column family的数据

　　拉取完数据之后关闭ResultScanner

　　通过 scan 取完数据后，记得要关闭 ResultScanner，否则 RegionServer 可能会出现问题(对应的 Server 资源无法释放)。

　　RegionServer的请求处理IO线程数

　　较少的IO线程适用于处理单次请求内存消耗较高的Big Put场景(大容量单词Put或设置了较大cache的scan，均数据Big Put)或RegionServer的内存比较紧张的场景。

　　较多的IO线程，适用于单次请求内存消耗低，TPS要求(每次事务处理量)非常高的场景。这只该值的时候，以监控内存为主要参考

　　在hbase-site.xml配置文件中配置项为hbase.regionserver.handle.count

　　Region大小设置

　　配置项hbase.hregion.max.filesize，所属配置文件为hbase-site.xml，默认大小是256m。

　　在当前RegionServer上单个Region的最大存储空间，单个Region超过该值时，这个Region会被自动split成更小的Region。小Region对split和compaction友好，因为拆分Region或compact小Region里的StoreFile速度非常快，内存占用低。缺点是split和compaction会很频繁，特别是数量较多的小Region不同的split，compaction，会导致集群响应时间波动很大，Region数量太多不仅给管理上带来麻烦，设置会引起一些HBase个bug。一般 512M 以下的都算小 Region。大 Region 则不太适合经常 split 和 compaction，因为做一次 compact 和 split 会产生较长时间的停顿，对应用的读写性能冲击非常大。

　　此外，大 Region 意味着较大的 StoreFile，compaction 时对内存也是一个挑战。如果你的应用场景中，某个时间点的访问量较低，那么在此时做 compact 和 split，既能顺利完成 split 和 compaction，又能保证绝大多数时间平稳的读写性能。compaction 是无法避免的，split 可以从自动调整为手动。只要通过将这个参数值调大到某个很难达到的值，比如 100G，就可以间接禁用自动 split(RegionServer 不会对未到达 100G 的 Region 做 split)。再配合 RegionSplitter 这个工具，在需要 split 时，手动 split。手动 split 在灵活性和稳定性上比起自动 split 要高很多，而且管理成本增加不多，比较推荐 online 实时系统使用。内存方面，小 Region 在设置 memstore 的大小值上比较灵活，大 Region 则过大过小都不行，过大会导致 flush 时 app 的 IO wait 增高，过小则因 StoreFile 过多影响读性能。

声明：本站稿件版权均属千锋教育所有，未经许可不得擅自转载。