基于 Percona Server for MySQL 体验 MyRocks|云服务器 ECS - 开发者论坛

李凌添

<div class="f14 mb10" id="read_tpc">
<span style="display:none"> "W6cQsi </span>&nbsp;<br /> <span style="display:none"> GEy7Vb)  </span>&nbsp;<br /><font size="6"><b>前言</b></font><span style="display:none"> Q +l{> sL </span>&nbsp;<br /> <span style="display:none"> a({Rb?b </span>&nbsp;<br /> <span style="display:none"> aB~k8]q. </span>&nbsp;<br />RocksDB是facebook基于LevelDB实现的一款可嵌入式的持久化键值（Key-Value）存储<span onclick="sendmsg('pw_ajax.php','action=relatetag&tagname=数据',this.id)" style="cursor:pointer;border-bottom: 1px solid #FA891B;" id="rlt_3">数据</span>库，目前为facebook内部大量业务提供<span onclick="sendmsg('pw_ajax.php','action=relatetag&tagname=服务',this.id)" style="cursor:pointer;border-bottom: 1px solid #FA891B;" id="rlt_1">服务</span>。由于其有高性能和高适配性的特点，所以被大量的应用于对传统<span onclick="sendmsg('pw_ajax.php','action=relatetag&tagname=数据库',this.id)" style="cursor:pointer;border-bottom: 1px solid #FA891B;" id="rlt_5">数据库</span>引擎的高性能改造，例如商业数据库引擎 TerarkDB 分布式关系型数据库 TIDB 等都是应用了 ROCKSDB 来实现高性能的。<span style="display:none"> DI8I'c-P </span>&nbsp;<br /> <span style="display:none"> 5(CInl </span>&nbsp;<br /><font size="6"><b>介绍</b></font><span style="display:none"> Ao?b1VYy/ </span>&nbsp;<br /> <span style="display:none"> Xxh^4vKjX </span>&nbsp;<br /> <span style="display:none"> !b!An; ', </span>&nbsp;<br />经过 Facebook 大量工作，将 RocksDB 作为 <span onclick="sendmsg('pw_ajax.php','action=relatetag&tagname=MySQL',this.id)" style="cursor:pointer;border-bottom: 1px solid #FA891B;" id="rlt_8">MySQL</span> 的一个存储引擎移植到 MySQL，称之为 MyRocks。 经过多年的发展，MyRocks 已经比较成熟，已进入了facebook MySQL的主分支了。其他 MySQL 分支包括 Percona Server for MySQL 和 MariaDB Server 都集成了 MyRocks。<span style="display:none"> @Un/,-ck </span>&nbsp;<br />MyRockS 跑分：http://jetware.io/blog/redmine-performance-on-myrocks、https://www.percona.com/blog/201 ... yrocks-performance/， 本来还想翻译翻译贴图出来的，没想到那么多图<span style="display:none"> (ww4( </span>&nbsp;<br /><span style="display:none"> zu?112-v2 </span>&nbsp;<br /><span style="display:none"> `m(ZX\W] </span>&nbsp;<br /><font size="5"><b>RocksDB与innodb的比较</b></font><span style="display:none"> 19GF%+L
, </span>&nbsp;<br /> <span style="display:none"> Y        S7lB </span>&nbsp;<br /><ul style="margin:0 0 0 25px"><li>innodb空间浪费, B tree分裂导致page内有较多空闲，page利用率不高。innodb现有的压缩效率也不高，压缩以block为单位，也会造成浪费。</li><li>写入放大：innodb 更新以页为单位，最坏的情况更新N行会更新N个页。RocksDB append only方式 另外，innodb开启double write也会增加写入。</li><li>RocksDB对齐开销小：SST file (默认2MB)需要对齐，但远大于4k, RocksDB_block_size(默认4k) 不需要对齐,因此对齐浪费空间较少</li><li>RocksDB索引前缀相同值压缩存储，节省空间</li><li>RocksDB占总数据量90%的最底层数据，行内不需要存储<span onclick="sendmsg('pw_ajax.php','action=relatetag&tagname=系统',this.id)" style="cursor:pointer;border-bottom: 1px solid #FA891B;" id="rlt_4">系统</span>列seqid （innodb聚簇索引列包含trxid,roll_ptr等<span onclick="sendmsg('pw_ajax.php','action=relatetag&tagname=信息',this.id)" style="cursor:pointer;border-bottom: 1px solid #FA891B;" id="rlt_2">信息</span>）</li></ul><span style="display:none"> U3GgnuE </span>&nbsp;<br /> <span style="display:none"> ' u&lt;IS/w </span>&nbsp;<br /><font size="5"><b>　Percona MyRocks</b></font><span style="display:none"> ^n~Kr1}nj </span>&nbsp;<br /> <span style="display:none"> 31^/9lb
</span>&nbsp;<br /> <span style="display:none"> 4ZUtK/i+r </span>&nbsp;<br />ercona MyRocks　是　MyRocks for Percona Server　的实现，<span onclick="sendmsg('pw_ajax.php','action=relatetag&tagname=安装',this.id)" style="cursor:pointer;border-bottom: 1px solid #FA891B;" id="rlt_7">安装</span>了　Percona Server 的<span onclick="sendmsg('pw_ajax.php','action=relatetag&tagname=环境',this.id)" style="cursor:pointer;border-bottom: 1px solid #FA891B;" id="rlt_9">环境</span>可以非常方便的集成 MyRocks 引擎，和 FaceBook 的 MyRocks 差异在于 事务隔离级别 的实现上。<span style="display:none"> 
j7_,V?5z </span>&nbsp;<br /> <span style="display:none"> M/W9"N[ta </span>&nbsp;<br /><font size="6"><b>安装</b></font><span style="display:none"> 66>X$nx(z </span>&nbsp;<br /> <span style="display:none"> />Zfx.Aj6 </span>&nbsp;<br /> <span style="display:none">
m$[:J </span>&nbsp;<br />首先，我们需要安装有 Percona Server，安装教程：<b>ercona Server 5.7 安装教程</b><span style="display:none"> )( 3)^/Xz </span>&nbsp;<br />安装 percona-server-rocksdb：<span style="display:none"> Ma?uB8o+~ </span>&nbsp;<br /><b>RHEL\CentOS：</b><span style="display:none"> )OQm,5F1 </span>&nbsp;<br /><b></b><div class="f12">复制代码</div><div class="blockquote2" id="code1"><ol><li>yum install Percona-Server-rocksdb-57.x86_64</li></ol></div><span style="display:none"> r9:w: </span>&nbsp;<br /><span style="display:none"> V$DB4YM1k </span>&nbsp;<br /><b>Deiban\Ubuntu：</b><span style="display:none"> oNXYBeu+ </span>&nbsp;<br /><b></b><div class="f12">复制代码</div><div class="blockquote2" id="code2"><ol><li>apt-get install percona-server-rocksdb-5.7</li></ol></div><span style="display:none"> c[M4l </span>&nbsp;<br /><span style="display:none"> 0aR.ct% </span>&nbsp;<br /><span style="display:none"> tlO=> </span>&nbsp;<br />安装好后我们回看到这句话：<span style="display:none"> {@Lun6\ </span>&nbsp;<br /><span style="color:#c5c8c6 "></span><div class="f12">复制代码</div><div class="blockquote2" id="code3"><ol><li>* This release of Percona Server is distributed with RocksDB storage engine.</li><li>* Run the following script to enable the RocksDB storage engine in Percona Server:</li><li></li><li>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ps-admin --enable-rocksdb -u &lt;mysql_admin_user&gt; -p[mysql_admin_pass] [-S &lt;socket&gt;] [-h &lt;host&gt; -P &lt;port&gt;]</li></ol></div><span style="display:none"> ;ja~Q        .}4 </span>&nbsp;<br /><span style="display:none"> ?@x$ h </span>&nbsp;<br />也就是说我们需要运行相关语句：<span style="display:none">         g,YF$:e </span>&nbsp;<br />运行：<span style="display:none"> >Q=e9L= </span>&nbsp;<br /><div class="f12">复制代码</div><div class="blockquote2" id="code4"><ol><li>ps-admin --enable-rocksdb -u root -p密码</li></ol></div><span style="display:none"> 9mtndTT        5u </span>&nbsp;<br /><span style="display:none"> #QlxEs#% </span>&nbsp;<br /><span style="display:none"> &'e+`\ </span>&nbsp;<br />然后就成功激活插件并关闭 Transparent huge pages 了<span style="display:none"> 0K"+u9D^ </span>&nbsp;<br /><div class="f12">复制代码</div><div class="blockquote2" id="code5"><ol><li>mysql&gt; SHOW ENGINES;</li><li>+--------------------+---------+----------------------------------------------------------------------------+--------------+------+------------+</li><li>| Engine&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | Support | Comment&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;| Transactions | XA&nbsp;&nbsp; | Savepoints |</li><li>+--------------------+---------+----------------------------------------------------------------------------+--------------+------+------------+</li><li>| ROCKSDB&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;| YES&nbsp;&nbsp;&nbsp;&nbsp; | RocksDB storage engine&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | YES&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;| YES&nbsp;&nbsp;| YES&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;|</li><li>| MRG_MYISAM&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | YES&nbsp;&nbsp;&nbsp;&nbsp; | Collection of identical MyISAM tables&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;| NO&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | NO&nbsp;&nbsp; | NO&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; |</li><li>| CSV&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;| YES&nbsp;&nbsp;&nbsp;&nbsp; | CSV storage engine&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | NO&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | NO&nbsp;&nbsp; | NO&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; |</li><li>| BLACKHOLE&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;| YES&nbsp;&nbsp;&nbsp;&nbsp; | /dev/null storage engine (anything you write to it disappears)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | NO&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | NO&nbsp;&nbsp; | NO&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; |</li><li>| InnoDB&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | DEFAULT | Percona-XtraDB, Supports transactions, row-level locking, and foreign keys | YES&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;| YES&nbsp;&nbsp;| YES&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;|</li><li>| PERFORMANCE_SCHEMA | YES&nbsp;&nbsp;&nbsp;&nbsp; | Performance Schema&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | NO&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | NO&nbsp;&nbsp; | NO&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; |</li><li>| ARCHIVE&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;| YES&nbsp;&nbsp;&nbsp;&nbsp; | Archive storage engine&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | NO&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | NO&nbsp;&nbsp; | NO&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; |</li><li>| MEMORY&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | YES&nbsp;&nbsp;&nbsp;&nbsp; | Hash based, stored in memory, useful for temporary tables&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;| NO&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | NO&nbsp;&nbsp; | NO&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; |</li><li>| FEDERATED&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;| NO&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;| Federated MySQL storage engine&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | NULL&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | NULL | NULL&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; |</li><li>| MyISAM&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | YES&nbsp;&nbsp;&nbsp;&nbsp; | MyISAM storage engine&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;| NO&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; | NO&nbsp;&nbsp; | NO&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; |</li><li>+--------------------+---------+----------------------------------------------------------------------------+--------------+------+------------+</li><li>10 rows in set (0.00 sec)</li></ol></div><span style="display:none"> &0*l:uw </span>&nbsp;<br /><span style="display:none">         PQ!'&lt; </span>&nbsp;<br /><span style="display:none"> ^WWr8- </span>&nbsp;<br /><font size="6"><b>使用</b></font><span style="display:none"> ^^
xzaF </span>&nbsp;<br /> <span style="display:none"> \"yR[.Q?
 </span>&nbsp;<br /> <span style="display:none">  Vhm^&lt;I-d </span>&nbsp;<br />具体如何使用 ROCKSDB 引擎<span onclick="sendmsg('pw_ajax.php','action=relatetag&tagname=呢',this.id)" style="cursor:pointer;border-bottom: 1px solid #FA891B;" id="rlt_6">呢</span>？<span style="display:none"> 4^6Oh#p0
</span>&nbsp;<br />我们在创建表和修改表的时候，加入 ENGINE=RocksDB 就可以使用了。<span style="display:none"> 3WfZzb+ </span>&nbsp;<br />例如：<span style="display:none">         >qI: </span>&nbsp;<br /><div class="f12">复制代码</div><div class="blockquote2" id="code6"><ol><li>mysql&gt; use mf8biz;</li><li>mysql&gt; CREATE TABLE `juncedup_usermeta` (</li><li>&nbsp;&nbsp;`umeta_id` bigint(20) unsigned NOT NULL AUTO_INCREMENT,</li><li>&nbsp;&nbsp;`user_id` bigint(20) unsigned NOT NULL DEFAULT &#39;0&#39;,</li><li>&nbsp;&nbsp;`meta_key` varchar(255) COLLATE utf8mb4_unicode_520_ci DEFAULT NULL,</li><li>&nbsp;&nbsp;`meta_value` longtext COLLATE utf8mb4_unicode_520_ci,</li><li>&nbsp;&nbspRIMARY KEY (`umeta_id`),</li><li>&nbsp;&nbsp;KEY `user_id` (`user_id`),</li><li>&nbsp;&nbsp;KEY `meta_key` (`meta_key`(191))</li><li>) ENGINE=RocksDB；</li></ol></div><span style="display:none"> &t@ $]m( </span>&nbsp;<br /><span style="display:none"> FFN.9[Ly </span>&nbsp;<br /><span style="display:none"> !P6y_Frpe </span>&nbsp;<br />如果我们想激进一点可以把默认引擎设置为 ROCKSDB：<span style="display:none"> &lt;dk9n}y&lt;, </span>&nbsp;<br />修改 /etc/my.cnf 文件，在 [mysqld] 下加入：<span style="display:none"> M9yqJPS}B </span>&nbsp;<br /><div class="f12">复制代码</div><div class="blockquote2" id="code7"><ol><li>default-storage-engine=ROCKSDB</li></ol></div><span style="display:none"> )gR3S%Ju </span>&nbsp;<br /><span style="display:none"> ws]d,] </span>&nbsp;<br /><span style="display:none"> .L]2g$W\p </span>&nbsp;<br />然后重启 MySQL 服务即可。
</div>
</div>
<!--content_read-->
</td>
</tr>
<tr>