Oushu Database 4.0 Beta 新特性 (发布日期:2019年9月12日)

作为新的里程碑,本次我们在OushuDB 4.0版本中开发了分布式表存储Magma,并将其作为OushuDB的新一代数据存储底层实现。历时两年半打造,从此OushuDB拥有了自己的原生表存储。Magma和HDFS并驾齐驱, 解决HDFS不能高效支持的特性。

新Magma存储的引入使得OushuDB达到了前所未有的高度。例如:使其具备了真正的高性能表数据更新删除(Update、Delete)功能;具备了高效的基于索引的数据约束和查询能力;具备了内建的自动数据冗余和服务高可用能力。

通过将新分布式存储模块和新执行器的整合,OushuDB架构在保持存储与计算分离的同时,保证了最优的性能。可以说是业界最前沿的架构,完美原生匹配云平台的弹性需求,远超目前市面同类产品。

Oushu Database 4.0 Beta 包括如下新特性:

  • Magma存储支持结构化数据存储,提供高性能存储内数据读写支持;
  • Magma存储支持表数据Update和Delete功能;
  • Magma存储支持ACID分布式事务;
  • Magma存储支持主键索引、唯一键索引和普通索引提高数据检索性能;
  • Magma存储支持表数据的自动冗余持久化和高可用访问;
  • Magma存储支持Oushu Database弹性扩容;
  • Oushu Database执行器和优化器针对Magma进行特别优化,实现最优的数据访问性能表现;
  • Oushu Database 执行器和优化器支持对Magma表的Index Scan和Index-Only Scan;
  • Magma存储 为P2P无中心架构,提高集群部署灵活性便捷性同时降低使用维护复杂度;
  • Magma支持JSON数据格式(JavaScript Object Notation),它是一种轻量级的数据交换格式,易于人阅读和编写,同时也易于机器解析和生成;
  • Magma支持JSON的操作符和相关函数。

Oushu Database 4.0 Beta 修复的Bug如下:

  • Table lock is not released before reporting errors when exceeding limit MaxAORelSegFileStatus
  • Refactor gpfdist server/client code
  • Fix bug that query text of external table dumped with pg_dump is incomplete
  • Fix bug for removing hash entry in append-only table
  • Fix bug of COPY SELECT FROM one ORC table to one file
  • Fix wrong result for inserting data into text table using gpfdist
  • Rename HDFS path when renaming an external table
  • Fix log timezone that is different from the table
  • Fix bug that DROP and CREATE and INSERT in loop will lose relid
  • Fix bug of running deadlock detection
  • Check nullptr when renaming path
  • Remove deprecated orc implementation
  • Adapt OushuDB to be compatible with Ambari either in King Soft Yun or in Oushu ci
  • Fix bug for hostname and path are NULL in TEXT/CSV format
  • Refresh kerberos ticket before renaming external table
  • Fix memory bug in copyfunc
  • Fix bug of accessing an external table with error table through JDBC
  • Fix bug of calculating string length when renaming HDFS path
  • Add hawq install-oushu-python/remove-oushu-python
  • Fix url_curl palloc in TopMemoryContext
  • Joining HIVE table may encounter core dump
  • Core dump when execute pg_relation_size upon HIVE table
  • Core dump when analyze a HIVE table
  • Change Tomcat default path
操作系统 版本
Redhat/Centos 7.0
Redhat/Centos 7.1
Redhat/Centos 7.2
Redhat/Centos 7.3
Redhat/Centos 7.4

从3.x升级到4.0 Beta

4.0 Beta 版本暂不支持升级。