概览

图1给出了一个典型的OushuDB集群的主要组件。其中有几个Master节点:包括OushuDB master节点,HDFS master节点NameNode,YARN master节点ResourceManager。现在OushuDB元数据服务在OushuDB master节点里面,未来版本会成为单独的服务。其他节点为Slave节点。每个Slave节点上部署有HDFS DataNode,YARN NodeManager以及一个OushuDB Segment。其中YARN是可选组件,如果没有YARN的话,OushuDB会使用自己内置的资源管理器。OushuDB Segment在执行查询的时候会启动多个QE (Query Executor, 查询执行器)。查询执行器运行在资源容器里面。在这个架构下,节点可以动态的加入集群,并且不需要数据重新分布。当一个节点加入集群时,他会向OushuDB Master节点发送心跳,然后就可以接收未来查询了。

_images/hawk++1_2_1.png

图1. OushuDB体系架构

图2是OushuDB内部架构图。可以看到在OushuDB master节点内部有如下几个重要组件:查询解析器(Parser/Analyzer),优化器,资源管理器,资源代理,容错服务,查询派遣器,元数据服务。在Slave节点上安装有一个物理Segment,在查询执行时,针对一个查询,弹性执行引擎会启动多个虚拟Segment同时执行查询,节点间数据交换通过Interconnect(高速互联网络)进行。如果一个查询启动了1000个虚拟Segment,意思是这个查询被均匀的分成了1000份任务,这些任务会并行执行。所以说虚拟Segment数其实表明了查询的并行度。查询的并行度是由弹性执行引擎根据查询大小以及当前资源使用情况动态确定的。下面我逐个来解释这些组件的作用以及它们之间的关系:

_images/hawk++1_2_2.png

图2: OushuDB内部架构

  • 查询解析器:负责解析查询,并检查语法及语义。最终生成查询树传递给优化器。
  • 优化器:负责接受查询树,生成查询计划。针对一个查询,可能有数亿个可能的等价的查询计划,但执行性能差别很大。优化器的作用是找出优化的查询计划。
  • 资源管理器:资源管理器通过资源代理向全局资源管理器(比如YARN)动态申请资源并缓存资源。在不需要的时候返回资源。我们缓存资源的主要原因是减少OushuDB与全局资源管理器之间的交互代价。OushuDB支持毫秒级查询。如果每一个小的查询都去向资源管理器申请资源,这样的话,性能会受到影响。资源管理器同时需要保证查询不使用超过分配给该查询的资源,否则查询之间会相互影响,可能导致系统整体不可用。
  • HDFS元数据缓存:用于OushuDB确定哪些Segment扫描表的哪些部分。OushuDB需要把计算派遣到数据所在的地方,所以我们需要匹配计算和数据的局部性。这些需要HDFS块的位置信息。位置信息存储在HDFS NameNode上。每个查询都访问HDFS NameNode会造成NameNode的瓶颈。所以我们在OushuDB Master节点上建立了HDFS元数据缓存。
  • 容错服务:负责检测哪些节点可用,哪些节点不可用。不可用的机器会被排除出资源池。
  • 查询派遣器:优化器优化完查询以后,查询派遣器派遣计划到各个节点上执行,并协调查询执行的整个过程。查询派遣器是整个并行系统的粘合剂。
  • 元数据服务:负责存储OushuDB的各种元数据,包括数据库和表信息,以及访问权限信息等。另外,元数据服务也是实现分布式事务的关键。
  • 高速互联网络:负责在节点之间传输数据。使用软件实现,基于UDP协议。UDP协议无需建立连接,从而可以避免TCP高并发连接数的限制。