云数据库HybridDB for MySQL (原PetaData)-同时支持海量数据在线事务和在线分析的关系 ...

功能特性

• 极速查询

  毫秒级的极速查询能力是CStore引擎的核心竞争力：

  • 支持百亿大表的聚合、连接等复杂查询，任意维度组合，毫秒级延时。
  • 支持通用的OLAP模型，比如星型、雪花等模型；支持事实表和维度表。
  • 数据按照列存储，支持列级智能索引。列级索引可以任意组合，最多支持数千个查询条件。
  • 强大的聚集索引能力，用户可以按照业务特性对数据做排序，查询性能最高可提升一个量级以上。

• SQL兼容性

  CStore引擎在查询上有着出色的SQL兼容能力：

  • 支持MySQL全部的查询语法，涵盖各类操作符、函数、复杂查询嵌套等。
  • 支持大数据通用的TPC-H、TPC-DS标准的基准测试。
  • 支持Oracle常用的开窗语法和函数、集合操作、层次查询等。

• 实时写入

  CStore引擎支持高性能实时写入：

  • 支持INSERT INTO/REPLACE INTO实时写入。
  • 数据写入后毫秒级可查询。
  • 支持主键索引去重，可以快速REPLACE INTO覆盖更新。
  • 支持UPDATE和DELETE单表任意条件的数据更新。
  • 单节点性能可达2W-5W TPS或者30MB/s-50MB/s（读写速度），可线性扩展到数百万TPS。

• 批量导入

  CStore引擎有着独具特色的高性能批量导入导出能力：

  • 批量导入导出性能最高可达1TB/小时，百亿数据最快分钟级完成导入或者导出。
  • 支持MaxCompute（ODPS）、OSS、RDS for MySQL等产品数据的快速批量导入导出。
  • 支持新旧数据一键切换功能，数据导入时不影响查询，导入完成后一键切换，新数据直接上线服务。

• BI生态兼容

  CStore引擎兼容MySQL协议，支持主流的BI工具：

  • 在阿里云上支持DMS、QuickBI等BI工具，支持DTS全量和增量数据迁移。
  • 在阿里集团内部支持IDB、孔明灯、夸克可视化工具，支持精卫、DTS数据同步。
  • 支持各种商业BI工具，包括Tableau、Navicate、MySQL workbench等。

• 系统稳定性

  CStore引擎在稳定性上做了大量细致的工作：

  • 用户实例资源单独隔离，无共享资源依赖，保证了用户之间不会出现资源争抢和排队。
  • 存储和计算资源隔离，可以保证导入基本不影响查询。
  • 查询模式自动识别，快速查询和复杂查询隔离，避免了单个复杂查询影响整个实例。

• 数据可靠性

  CStore引擎从两个方面保证数据可靠性：

  • 数据默认多副本存储，达到工业安全等级。
  • 支持全量和增量备份数据到OSS。
  • 支持按备份集和时间点恢复。

• 特色功能

  CStore引擎做为OLAP的增强版本，支持如下特色功能：

  • 多值子列：支持单列多个值的存储、过滤和分组，可以做到亿级数据毫秒级的多值列检索。
  • 全文检索：支持全文检索列，可以定义分词器，支持毫秒级的检索能力。
  • 空间检索：支持空间索引，支持点、圈型、多边形的检索和查询，百亿数据可以做到毫秒级别的检索能力。

HTAP（事务与分析一体化）

HybridDB for MySQL事务引擎为HTAP（Hybrid Transaction/Analytical Processing）关系型数据库，可以基于一份数据进行事务（OLTP）与分析（OLAP）混合处理，免去了以往在线数据库（Operational Database）和数据仓库（Data Warehouse）之间的海量数据加载过程，避免了数据的多次复制、传输和存储，降低存储成本的同时极大地缩短了数据分析的延迟。

MySQL接口

HybridDB for MySQL事务引擎高度兼容MySQL 5.6的语法和函数，使用便捷方便；同时支持Oracle部分常用函数，便于分析计算。

分布式事务

HybridDB for MySQL事务引擎支持基本的分区内事务。可通过增加分布式节点，实现分布式任务处理性能的线性增长。

数据压缩

HybridDB for MySQL事务引擎支持多种数据压缩算法，通过对数据块的压缩存储，大大节约了存储空间和I/O的开销，实测的压缩效果可以达到5倍。

管理功能

HybridDB for MySQL事务引擎的管理功能包括备份、恢复、监控、报警、用户管理，基本体验与RDS for MySQL一致。

集成功能

HybridDB for MySQL事务引擎可以和云监控（CloudMonitor）、数据传输（Data Transmission Service）、数据集成（Data Integration）、数据管理（Data Management Service）等阿里云产品无缝集成，实现从数据上云到系统监控、数据管理的完整体系。

大数据存储与分析

传统的数据分析场景下，用户需要把数据从在线数据库（Operational Database）复制到离线数据仓库（Data Warehouse）上之后再进行数据分析，这需要海量数据的多次复制、传输、加载和存储等多方面工作。

HybridDB for MySQL（原名PetaData）是新型的HTAP（Hybrid Transaction/Analytical Processing）关系数据库，可以基于一份数据进行事务（OLTP）与分析（OLAP）混合处理，免去了在线数据库和离线数据仓库之间海量数据的复制、传输、加载和存储，降低存储成本的同时极大的缩短了数据分析的延迟，使得即席分析决策系统成为可能。

物联网

物联网有着数据采集点多、数据总量大、并发高的应用特点。在基于 MySQL 数据库的系统架构下，存放着设备信息的库表，往往需要使用分库分表和相应的数据分发技术才能承担业务流量。分库分表的设计不仅增加了数据库运维人员的管理难度，也让系统架构的扩展受到了很大的限制。

HybridDB for MySQL的分布式架构屏蔽了分库分表的细节，只对用户提供一个数据库连接地址和相应的逻辑库表，让用户的开发和运维成本降低到最低。当面对业务量暴涨的情况下，用户只要简单地增加存储节点就能将数据拆分到更多的服务器上，而这一切细节都不需要用户去深入了解。

历史日志

很多用户为了保障在线数据库的性能和容量，降低总体数据存储成本，会将线上业务系统早期生成的数据转移到历史库进行保存。同时，这些海量的商业历史数据对于过去业务的分析和未来业务的规划展望又具有非常重要的价值，需要不定期的进行数据分析。

HybridDB for MySQL可存储海量的历史数据（最高可达到PB级），并且可以通过数据压缩来进一步节省存储空间，另有价格低廉的普通HDD硬盘存储供用户选择，极大减少了数据存储的成本。

同时，HybridDB for MySQL作为新型HTAP数据库，用户可以随时直接对这些历史数据进行多维度的OLAP数据分析，而无需再将这些数据重新导入到商业BI系统中去。