Ubuntu 12.04 LTS 构建高可用分布式 MySQL 集群

本文的英文版本链接是https://xuri.me/2013/11/20/install-mysql-cluster-on-ubuntu-12-04-lts.html

MySQL Cluster 是 MySQL 适合于分布式计算环境的高实用、高冗余版本。它采用了 NDB Cluster 存储引擎，允许在1个 Cluster 中运行多个MySQL服务器。通过无共享体系结构，系统能够使用廉价的硬件，而且对软硬件无特殊要求。此外，由于每个组件有自己的内存和磁盘，不存在单点故障。

开发者官方网站www.oracle.com

在这篇文章中，我会叙述如何 在 Ubuntu 12.04 LTS 构建高可用 MySQL 集群。

1. SQL Cluster 虚拟主机

要创建一个功能齐全的集群，至少需要3台主机才可以完成。其中一个主机作为管理节点，另外两个做数据节点。如果数据节点脱机，群集仍然可以工作，但是一旦管理节点出现问题，将导致集群无法正常工作，所以在可能的情况下，建立两个管理节点。在我的例子中，我将使用二个管理节点的集群。

这个例子中一共使用了 5 台主机，系统架构如下图所示

虚拟机群平台 　VMware ESXi 4.1 虚拟机操作系统 Ubuntu 12.04.3 LTS (Precise Pangolin) 64-bit

所有虚拟机都在同一192.168.67.0/24网络地址段当中，请根据你的网络情况来具体配置 IP 地址，在开始之前请确保所有主机网络连接设置正常。

2. 安装管理节点

首先，我们需要安装的 MySQL集群的管理节点。我们将开始与 MySQL-MGM-1，配置完成后按照相同的步骤配置第二个管理节点，如果只设定一个管理节点，那么继续下一步的配置。

在开始配置前，请访问http://www.mysql.com/downloads/cluster/#downloads确认当前安装文档的版本信息. 这里我所使用的 MySQL Cluster 版本是 7.3.3.

首先，我们把MySQL Cluster 安装包下载到管理主机上。进入到 /usr/src文件夹并创建mysql-mgm目录。

mkdir /usr/src/mysql-mgm cd /usr/src/mysql-mgm

完成这一步后，在 MySQL 的官方网站下载最新的安装源代码，并解压软件包

wget http://cdn.mysql.com/Downloads/MySQL-Cluster-7.3/mysql-cluster-gpl-7.3.3-linux-glibc2.5-x86_64.tar.gz tar xvfz mysql-cluster-gpl-7.3.3-linux-glibc2.5-x86_64.tar.gz

进入解压缩后的文件夹，然后移动二进制文件

cd mysql-cluster-gpl-7.3.3-linux-glibc2.5-x86_64 cp bin/ndb_mgm /usr/bin cp bin/ndb_mgmd /usr/bin

更改目录的权限，并可以选择删除下载的源文件

chmod 755 /usr/bin/ndb_mg* cd /usr/src rm -rf /usr/src/mysql-mgm

接下来，我们创建管理节点配置文件，在 /var/lib/mysql-cluster/ 文件夹中，名字叫做 config.ini ，这个文件夹事先不存在，创建它

mkdir /var/lib/mysql-cluster

在 config.ini 文件创建完成后，使用你喜欢的文本编辑器编辑此文件，内容类似于这样

[NDBD DEFAULT] NoOfReplicas=2 DataMemory=80M IndexMemory=18M [MYSQLD DEFAULT] [NDB_MGMD DEFAULT] DataDir=/var/lib/mysql-cluster [TCP DEFAULT] # Section for the cluster management node [NDB_MGMD] NodeId=1 # IP address of the first management node (this system) HostName=192.168.67.10 [NDB_MGMD] NodeId=2 #IP address of the second management node HostName=192.168.67.11 # Section for the storage nodes [NDBD] # IP address of the first storage node HostName=192.168.67.12 DataDir= /var/lib/mysql-cluster [NDBD] # IP address of the second storage node HostName=192.168.67.13 DataDir=/var/lib/mysql-cluster # one [MYSQLD] per storage node [MYSQLD] [MYSQLD]

所有主机都定义在这个里，即使我们只安装第一个。请注意，管理主机节点需要设定 NodeId，而 NDBD 节点不需要设定.

完成这步操作后，可以用下面的命令启动管理节点

ndb_mgmd -f /var/lib/mysql-cluster/config.ini --configdir=/var/lib/mysql-cluster/

完成这步操作后, 你可以通过下面的命令向 init.d 中添加一个条目，以自动启动程序

echo "ndb_mgmd -f /var/lib/mysql-cluster/config.ini --configdir=/var/lib/mysql-cluster/" > /etc/init.d/ndb_mgmd chmod 755 /etc/init.d/ndb_mgmd

如果一切顺利，第二个管理节点上遵循相同的步骤，并使用相同的配置。请不要改变的节点配置文件中的 ID

你可以使用 ndb_mgm 命令来验证管理节点的运行，(只需要在终端中输入 ndb_mgm ) ，并通过键入 show，启动配置实用程序。此时 NDBD 节点和 MySQL 节点处于断开状态，需要将所有节点配置完成才可以输出正确的状态。

3. 数据节点
创建数据节点与创建管理节点的过程是类似的。让我们开始创建一个 mysql 组，将用户 mysql 添加到 mysql 组中

groupadd mysql useradd -g mysql mysql

进入 /usr/local ，并下载和配置管理节点时使用的相同的压缩文档，并解压

cd /usr/local/ wget http://cdn.mysql.com/Downloads/MySQL-Cluster-7.3/mysql-cluster-gpl-7.3.3-linux-glibc2.5-x86_64.tar.gz tar xvfz mysql-cluster-gpl-7.3.3-linux-glibc2.5-x86_64.tar.gz

创建一个名为 mysql 指向解压的文件夹（这以后将用于DB集群，所以不要删除它！）的的软连接。创建完成后，你可以安装数据库

ln -s mysql-cluster-gpl-7.3.3-linux-glibc2.5-x86_64 mysql cd mysql apt-get install libaio1 libaio-dev scripts/mysql_install_db --user=mysql --datadir=/usr/local/mysql/data

修改文件权限

chown -R root:mysql . chown -R mysql data

与管理节点上一样，我们希望的 DataBase 引擎自动启动，因此，我们需要创建 init.d 命令

cp support-files/mysql.server /etc/init.d/ chmod 755 /etc/init.d/mysql.server

最后，复制 bin 文件夹到 /usr/bin 的位置，并创建一个符号链接，以保持能够正确的引用

cd /usr/local/mysql/bin mv * /usr/bin cd ../ rm -fr /usr/local/mysql/bin ln -s /usr/bin /usr/local/mysql/bin

MySQL 配置文件目前不存在，所以我们需要自己创建它。该文件位于 /etc/ 中，并命名为 my.cnf 文件。使用你喜欢的文本编辑器，并添加以下几行

[mysqld] ndbcluster # IP address of the cluster management node ndb-connectstring=192.168.67.10,192.168.67.11 [mysql_cluster] # IP address of the cluster management node ndb-connectstring=192.168.67.10,192.168.67.11

请注意，这两个管理节点的地址，使用逗号分隔。如果你只有一个管理节点，只需在列表中删除第二个。一旦 my.cnf 文件已保存，我们需要创建 MySQL 的数据文件夹

mkdir /var/lib/mysql-cluster

完成这些后，我们需要初始化集群并启动该服务。只有当你开始第一次的节点，或当在管理节点上的 /var/lib/mysql-cluster/config.ini 文件被更改时，需要做初始化

cd /var/lib/mysql-cluster ndbd –-initial /etc/init.d/mysql.server start

接下来，通过运行相应的脚本安装 MySQL

/usr/local/mysql/bin/mysql_secure_installation

最后，我们需要 NDB 自动启动

echo "ndbd" > /etc/init.d/ndbd chmod 755 /etc/init.d/ndbd

好了，我们已经完成了第一个数据节点的配置，按照相同的方法和步骤去完成第二个数据节点的配置

4.验证与测试

如果一切正常，在管理节点终端中执行命令 ndb_mgm ，然后键入 show. 这个时候应该看到的数据库节点已填充的提示

root@MYSQL-MGM1:~# ndb_mgm ndb_mgm> show Cluster Configuration --------------------- [ndbd(NDB)] 2 node(s) id=3 @192.168.67.12 (mysql-5.6.14 ndb-7.3.3, Nodegroup: 0, *) id=4 @192.168.67.13 (mysql-5.6.14 ndb-7.3.3, Nodegroup: 0) [ndb_mgmd(MGM)] 2 node(s) id=1 @192.168.67.10 (mysql-5.6.14 ndb-7.3.3) id=2 @192.168.67.11 (mysql-5.6.14 ndb-7.3.3) [mysqld(API)] 2 node(s) id=5 @192.168.67.12 (mysql-5.6.14 ndb-7.3.3) id=6 @192.168.67.13 (mysql-5.6.14 ndb-7.3.3)

如果你能够看到类似的输出，去尝试一些基本的SQL命令。登录到SQL数据库，并创建一个新的数据库，表，以验证数据同步。请注意，在创建数据库时，需使用 NDBCLUSTER 存储引擎。如果使用 InnoDB ，数据将不会在集群节点之间被复制。在使用 NDBCLUSTER 引擎时，会有一些问题，请参阅 MySQL 官方网站
http://dev.mysql.com/doc/refman/5.5/en/mysql-cluster-limitations-unsupported.html
http://dev.mysql.com/doc/refman/5.5/en/mysql-cluster-limitations-syntax.html

mysql -u root -p mysql> CREATE DATABASE mysqlclustertest; mysql> USE mysqlclustertest; mysql> CREATE TABLE testtable (i INT) ENGINE=NDBCLUSTER; mysql> INSERT INTO testtable () VALUES (1); mysql> SELECT * FROM testtable;

连接到第二个数据库节点，我们看看，得到了相同的输出

mysql -u root -p mysql> USE mysqlclustertest; mysql> SELECT * FROM testtable;

应该看到相同的输出。现在，如果你插入一个新条目表，它会被复制回的第一个节点

5. 负载均衡

在这篇文章的最后部分是为 MySQL 集群安装负载均衡服务器，负载均衡可以使用 mysql-proxy，很容易安装，当然你也可以使用其他服务

root@mysql-proxy:~# apt-get install mysql-proxy root@mysql-proxy:~# mkdir /etc/mysql-proxy root@mysql-proxy:~# cd /etc/mysql-proxy root@mysql-proxy:/etc/mysql-proxy# nano mysql-proxy.conf

在 mysql-proxy.conf 文件中加入下面几行

[mysql-proxy] daemon = true proxy-address = 192.168.67.14:3306 proxy-skip-profiling = true keepalive = true event-threads = 50 pid-file = /var/run/mysql-proxy.pid log-file = /var/log/mysql-proxy.log log-level = debug proxy-backend-addresses = 192.168.67.12:3306,192.168.67.13:3306 proxy-lua-script=/usr/lib/mysql-proxy/lua/proxy/balance.lua

对于自动启动的附加选项创建以下文件 /etc/default/mysql-proxy

ENABLED="true" OPTIONS="--defaults-file=/etc/mysql-proxy.conf --plugins=proxy"

然后，你可以通过调用以下命令启动 mysql-proxy

/etc/init.d/mysql-proxy start/stop/status

完成后，你应该能够连接到 MySQL 服务器使用代理地址。记得这个工作，你需要创建一个新的用户具有特定的子网连接到它。还需要在 my.cnf 文件为 MySQL 服务器添加捆绑地址

SQL用户不用复制，所以相同的用户有单独被添加到所有的数据库节点。在数据节点登录到 SQL shell，执行以下命令

CREATE USER \'newuser\'@\'192.168.67.%\' IDENTIFIED BY \'password\'; FLUSH PRIVILEGES; SELECT * FROM mysql.user;

更改 newuser，IP和密码，根据你的配置需求。 ％作为通配符，从而对整个子网的IP地址的行为，它允许远程连接到这个数据库节点。请记得在这个集群中的节点中添加相同的用户具有相同配置的其他所有数据库

撰写本文参考了这篇文章MySQL NDB Cluster setup on Ubuntu 12.04 LTS, 做了一些改动。

如果有哪里有误，欢迎指正，这篇文章的英文版本在我的个人网站xuri.me上.