MFS分布式文件系统搭建与监控详解

MFS分布式文件系统搭建与监控详解

• 来源:网络
• 更新日期:2020-07-23

摘要：建站服务器 MFS介绍官网地址：http://www.moosefs.com/MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器

建站服务器

MFS介绍

官网地址：http://www.moosefs.com/

MooseFS是一个具有容错性的网络分布式文件系统。

它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。通用文件系统,不需要修改上层应用就可以使用，通过附加新的计算机或者硬盘可以实现容量的动态扩展，体系架构可伸缩性极强，删除的文件可以根据配置的时间周期进行保留（一个文件系统级别的回收站），高可靠（数据的多个拷贝被存储在不同的计算机上），提供 web 监控接口，提高随机读或写的效率，提高海量小文件的读写效率。但是mfs 把文件系统的结构缓存到 master 的内存中,文件越多,master 的内存消耗越大,8g 对应 2500w 的文件数,2 亿文件就得 64GB 内存。支持特殊文件（块和字符设备、管道以及套接字），符号连接和硬连接。

包括以下四种角色：

角色作用管理服务器 managing server (master)负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复.多节点拷贝元数据日志服务器 Metalogger server（Metalogger）负责备份 master 服务器的变化日志文件，文件类型为 changelog_ml.*.mfs，以便于在 master server 出问题的时候接替其进行工作数据存储服务器 data servers (chunk servers )听从管理服务器调度,提供存储空间，并为客户提供数据传输.。 真正存储用户数据的服务器。存储文件时，首先把文件分成块，然后这些块在数据服务器 chunkserver之间复 制（复制份数可以手工指定，建议设置副本数为 3）。数据服务器可以是多个，并且数量越多，可使用的“磁盘空间”越大，可靠性也越高。客户机挂载使用 client computers挂载进程 mfs 服务器共享出的存储并使用。 通过 fuse 内核接口挂载进程管理服务器上所管理的数据存储服务器共享出的硬盘。 共享的文件系统的用法和 nfs 相似。 使用 MFS 文件系统来存储和访问的主机称为 MFS 的客户端，成功挂接 MFS 文件系统以后，就可以像以前使用 NFS 一样共享这个虚拟性的存储了。

实验环境介绍

基本环境表

主机操作系统IP地址主要软件Master ServerCentos7.3192.168.137.10moosefs.x86_64.0.3.0.101-1Metalogger ServerCentos7.3192.168.137.11moosefs.x86_64.0.3.0.101-1Chunk server1Centos7.3192.168.137.12moosefs.x86_64.0.3.0.101-1Chunk server2Centos7.3192.168.137.13moosefs.x86_64.0.3.0.101-1ClientCentos7.3192.168.137.14moosefs.x86_64.0.3.0.101-1

 

拓扑图

操作步骤

五台虚拟机模拟搭建MFS文件系统

关闭防火墙及selinux

systemctl stop firewalld
setenforce 0

 

搭建Master Server

安装软件

curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加键值
curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加适当的库条目
yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli –y

配置文件解释

cd /etc/mfs/

-rw-r--r--. 1 root root 4057 9月  27 15:18 mfsexports.cfg        //输出目录配置文件
-rw-r--r--. 1 root root 4057 7月  20 19:16 mfsexports.cfg.sample
-rw-r--r--. 1 root root 9015 9月  27 15:18 mfsmaster.cfg         //Master配置文件
-rw-r--r--. 1 root root 9015 7月  20 19:16 mfsmaster.cfg.sample
-rw-r--r--. 1 root root 1052 9月  27 15:18 mfstopology.cfg      //元数据日志
-rw-r--r--. 1 root root 1052 7月  20 19:16 mfstopology.cfg.sample

启动服务

systemctl start moosefs-master
systemctl enable moosefs-master
netstat -ntap | grep mfs

tcp        0      0 0.0.0.0:9419            0.0.0.0:*               LISTEN      6217/mfsmaster     
tcp        0      0 0.0.0.0:9420            0.0.0.0:*               LISTEN      6217/mfsmaster     
tcp        0      0 0.0.0.0:9421            0.0.0.0:*               LISTEN      6217/mfsmaster    

 

搭建MetalLogger Server

安装

curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加键值
curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加适当的库条目
yum install moosefs-metalogger –y

修改配置文件

vim /etc/mfs/mfsmetalogger.cfg

MASTER_HOST = 192.168.137.10          //第52行，去除注释，改地址指向主服务器。

启动服务

systemctl start moosefs-metalogger
systemctl enable moosefs-metalogger
netstat -ntap | grep mfs

tcp        0      0 192.168.137.11:36766    192.168.137.10:9419     ESTABLISHED 73521/mfsmetalogger

搭建Chunk Server

这两台Chunk Server的搭建步骤是完全相同

安装

curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加键值
curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加适当的库条目
yum install moosefs-chunkserver –y

修改配置文件

修改一

vim /etc/mfs/mfschunkserver.cfg

MASTER_HOST = 192.168.137.10     //第77行，将地址指向主服务器

修改二

vim /etc/mfs/mfshdd.cfg
/gongxiang            //在末行添加共享目录

mkdir /gongxiang      //创建共享目录

chown -R mfs:mfs /gongxiang    //为共享目录授权

启动服务

systemctl start moosefs-chunkserver
systemctl enable moosefs-chunkserver
netstat -ntap | grep mfs

tcp        0      0 0.0.0.0:9422            0.0.0.0:*               LISTEN      71921/mfschunkserve
tcp        0      0 192.168.137.13:59006    192.168.137.10:9420     ESTABLISHED 71921/mfschunkserve

Client的搭建

安装

curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加键值
curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加适当的库条目
yum install moosefs-client –y

加载fuse模块至内核

modprobe fuse

挂载共享目录

mkdir /opt/mfs    //创建挂载点
mfsmount /opt/mfs/ -H 192.168.137.10  //挂载，地址为master地址

df –h

文件系统             容量  已用  可用 已用% 挂载点
/dev/sda6             21G  4.1G   17G   20% /
devtmpfs             896M     0  896M    0% /dev
tmpfs                911M     0  911M    0% /dev/shm
tmpfs                911M   11M  900M    2% /run
tmpfs                911M     0  911M    0% /sys/fs/cgroup
/dev/sda2            9.8G   33M  9.8G    1% /opt
/dev/sda3            4.9G   89M  4.8G    2% /home
/dev/sda1           1014M  165M  850M   17% /boot
tmpfs                183M   64K  183M    1% /run/user/1000
tmpfs                183M     0  183M    0% /run/user/0
192.168.137.10:9421   58G  8.1G   50G   14% /opt/mfs

 

MFS监控

主服务器上开启监控

mfscgiserv
lockfile created and locked
starting simple cgi server (host: any , port: 9425 , rootpath: /usr/share/mfscgi)

 

访问192.168.137.10：9425      主机地址

填写主服务器地址

界面