产品介绍

Lava简介

在信息化爆炸的今天,企业的数据在飞速增加,企业逐渐意识到数字化转型的重要性,但在数字换转型的过程中,都会遇到各种痛点: 比如数据量太大,查询、分析速度太慢;数据标准不统一,数据难以交换与共享;数据开发周期太长;数据难以资产化、服务化等等。

针对这些痛点,Oushu打造了数据中台产品:Lava。 Oushu Lava是一款针对企业用户推出的数据中台,支持客户进行敏捷数据应用开发。Lava不仅拥有海量数据处理(OushuDB)和人工智能建模能力(LittleBoy),还提供了数据同步、 调度、数据可视化、数据服务、数据资产管理等数据中台所必备的功能,为用户提供智能化一站式大数据和AI服务,助力企业实现数字化转型。

平台架构

产品分为从层次上分为三大部分:前端UI、服务端、集群内部模块。

  • 前端UI :为用户提供交互式界面,方便用户使用产品所提供的服务。包括集群管理、数据库管理、AI工作室、数据同步、调度、账单管理、用户/权限管理等界面。
  • Lava Master:基础模块、数据存储模块、业务模块与集群管理模块。业务模块包括数据资产管理、数据服务、SQL控制台、作业调度、数据同步等等。集群管理模块主要负责集群的自动部署与监控、管理。
  • 集群:如上图所示,无论是公有云还是私有云,云平台所管理的集群有如下几种:OushuDB集群、LittleBoy集群、HDFS集群、Zookeeper集群、数据同步集群、调度集群等。OushuDB提供分布式数据仓库服务。LittleBoy集群分为LittleBoy Server与LittleBoy Worker,LittleBoy Server只有一个,LittleBoy Worker可以有多个。LittleBoy Worker是LittleBoy Server用来做分布式模型训练用的。数据同步集群负责分布式数据同步。调度集群负责Lava数据中台任务调度。每一种的集群用户都可以选择部署在任意机器上,集群与集群之间、Lava与集群之间没有硬性依赖(某集群必须跟另外一个集群部署在同一节点)。
  • Lava Slave :Lava分为Lava Master与Lava Slave之分,Lava Slave属于Lava不可或缺的重要模块,架构如下图所示。在添加机器的时候安装部署,自动以Gossip协议组成集群并选举Master,主要用来辅助部署、监控、服务起停;所有的节点往master push心跳信息,心跳(监控)信息保存在master供Lava展示。

产品特性

  • 海量数据处理能力: 深度集成了OushuDB,其优秀的MPP架构可以弹性扩展至上千节点,支持PB级的高效数据分析;数据同步工具可以帮助用户快速高效的汇总并共享海量企业数据。
  • 敏捷开发:简单易用的Lava调度工具与数据同步工具让数据工程师可以快速完成大数据相关业务的开发。
  • 数据资产化与智能化:集成LittleBoy人工智能平台,支持AutoML自动化调优,助力数据的资产化与智能化。
  • 完整的生态系统:支持从数仓的建立、数据的导入、数据可视化分析、数据服务化、人工智能模型训练、预测等完整的端到端解决方案,而且端到端的业务流程可以用Lava调度工具串联起来。
  • 稳定性强:Lava支持HA高可用,支持多级容错, 24*7持续运行。
  • 方便运维:支持自动部署、一键扩充集群、全方位的集群监控、基于规则引擎的报警系统与多种告警通知方式,支持定时作业调度,大大提高运维效率。