吾爱破解 - 52pojie.cn

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

查看: 903|回复: 1
收起左侧

[学习记录] Hbase读写流程

[复制链接]
luoJugood 发表于 2022-7-7 11:07
读:
1.HRegionServer保存着meta表以及表数据,要访问表数据,首先Client先去访问zookeeper,从zookeeper里面 获取meta表所在的位置信息,即找到这个meta表在哪个HRegionServer上保存着。
2.接着Client通过刚才获取到的HRegionServer的IP来访问Meta表所在的HRegionServer,从而读取到Meta,进 而获取到Meta表中存放的元数据。
3.Client通过元数据中存储的信息,访问对应的HRegionServer,然后扫描所在HRegionServer的Memstore和 Storefile来查询数据。
4.最后HRegionServer把查询到的数据响应给Client。

写:
1.Client先访问zookeeper,找到Meta表,并获取Meta表元数据。
2.确定当前将要写入的数据所对应的HRegion和HRegionServer服务器。
3.Client向该HRegionServer服务器发起写入数据请求,然后HRegionServer收到请求并响应。
4.Client先把数据写入到HLog,以防止数据丢失。
5.然后将数据写入到Memstore。
6.如果HLog和Memstore均写入成功,则这条数据写入成功
7.如果Memstore达到阈值,会把Memstore中的数据flush到Storefile中。
8.当Storefile越来越多,会触发Compact合并操作,把过多的Storefile合并成一个大的Storefile。
9.当Storefile越来越大,Region也会越来越大,达到阈值后,会触发Split操作,将Region一分为二。

发帖前要善用论坛搜索功能,那里可能会有你要找的答案或者已经有人发布过相同内容了,请勿重复发帖。

yongheng520 发表于 2022-7-7 15:02
hbase读数据流程:
1)Client先访问zookeeper,获取hbase:meta表位于哪个Region Server。
2)访问对应的Region Server,获取hbase:meta表,根据读请求的namespace:table/rowkey,查询出目标数据位于哪个Region Server中的哪个Region中。并将该table的region信息以及meta表的位置信息缓存在客户端的meta cache,方便下次访问。
3)与目标Region Server进行通讯;
4)分别在MemStore和Store File(HFile)中查询目标数据,并将查到的所有数据进行合并。此处所有数据是指同一条数据的不同版本(time stamp)或者不同的类型(Put/Delete)。
5)将查询到的新的数据块(Block,HFile数据存储单元,默认大小为64KB)缓存到Block Cache。
6)将合并后的最终结果返回给客户端。

hbase写数据流程:
1)Client先访问zookeeper,获取hbase:meta表位于哪个Region Server。
2)访问对应的Region Server,获取hbase:meta表,根据读请求的namespace:table/rowkey,查询出目标数据位于哪个Region Server中的哪个Region中。并将该table的region信息以及meta表的位置信息缓存在客户端的meta cache,方便下次访问。
3)与目标Region Server进行通讯;
4)将数据顺序写入(追加)到WAL;
5)将数据写入对应的MemStore,数据会在MemStore进行排序;
6)向客户端发送ack;
7)等达到MemStore的刷写时机后,将数据刷写到HFile。
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则

返回列表

RSS订阅|小黑屋|处罚记录|联系我们|吾爱破解 - LCG - LSG ( 京ICP备16042023号 | 京公网安备 11010502030087号 )

GMT+8, 2024-11-25 11:00

Powered by Discuz!

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表