热门标签
热门文章
- 1C# winForm utf8 gbk 相互转码小工具
- 2AttributeError: 'SQLAlchemy' object has no attribute 'model'_sqlalchemy' object has no attribute 'module
- 3DPU-PYNQ使用笔记_vai_q_pytorch
- 4Dev Eco studio安装教程_deveco studio安装教程
- 5java.lang.IllegalStateException: Fragment not attached to Activity_java.lang.iiegalstateexception:cannot show fragmen
- 6Linux协议栈--NAPI机制分析_netif_napi_add
- 7Android Studio 模拟器无法访问互联网解决方法_android studio无法联网
- 8linux手机管理多版本gcc和g++_gcc-linaro-9.
- 9JetBrains公司旗下开发工具简介_pycharm,phpstorm,dotultimate,appcode,clion,datagri
- 10Flutter 最有用的 5 个优秀的依赖包
当前位置: article > 正文
HBase中冷热数据处理以及资源分配解决方案_冷数据可以存 ck 等 hbase
作者：盐析白兔 | 2024-03-20 23:57:48
赞
踩
冷数据可以存 ck 等 hbase
| 资源紧张的情况下如何保证最近写入数据查询 | ||
| 现状 | 使用云主机，硬件层面不可控，只能从软件和设计角度去考虑了 | |
| 优化手段 | 优化原理 | 说明 |
| 将(Long.MAX_VALUE – timestamp)加到rowkey | 如果最近写入HBase表中的数据是最可能被访问的，可以考虑将时间戳作为row key的一部分，由于是字典序排序，所以可以使用Long.MAX_VALUE – timestamp作为row key，这样能保证新写入的数据排在最前面，在读取时可以被快速命中。 | 快速命中，较少IO，查询也就快 |
| 适当减少memstore的flush | 写数据先写入memstore，超多大小才flush到磁盘，可以把阈值适当调大，使刚写入的热数据在内存里待一会，增大缓存命中率，同时也降低了写磁盘的次数 | 阈值不能太大，否则flush比较慢 hbase.regionserver.global.memstore.upperLimit |
| 使用堆外内存做二级缓存(blockcache) | 热数据不容易被淘汰，命中率高，有一定的效果 | LRU 不能以单次读写论英雄 云主机没有配ssd，也无法使用二级缓存 |
| 按天建表+最近时间段常驻内存 (设置将冷数据表关闭blockcache，留更多缓存空间给热数据) | 按时间段建表，比如按天，当天的可以常驻内存，其余的动态设置为不常住内存； | 具体时间段怎么界定有待讨论，不到万不得已不建议时间段搞得很小 |
| 按天建表+当天适当增大副本 | 副本数越多，数据本地性就越强，查询会变快 | 副本数不能过多，占用大量存储；冷数据可以降副本以缓解整体存储的占用 |
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/276902
推荐阅读
相关标签
