MooseFS的简介、部署及应用

mooseFS简介

MooseFS正式的推出是在2008-05-30，到2009-10-12为止，最新的版本是1.5.12。

mooseFS是一款网络分布式文件系统。它把数据分散在多台服务器上，但对于用户来讲，看到的只是一个源。MFS也像其他类unix文件系统一样，包含了层级结构（目录树），存储着文件属性（权限，最后访问和修改时间），可以创建特殊的文件（块设备，字符设备，管道，套接字），符号链接，硬链接。

mooseFS系统的组成

1.master（元数据服务器）

master负责在整个系统中管理数据。是整个系统的维护者。但是它有个弱点就是master只有一个！也就是说如果master坏掉，整个系统将停止工作！不过这算不上致命弱点，因为我们做好数据备份以后，恢复master是很简单的事。

2.chunkserver（数据存储服务器）

chunkserver是mfs系统中的数据存储者。真正的用户数据按照算法被分成chunk，并分发到各个chunkserver上。这样就保证了数据的安全性。

3.client

凡是使用mfs文件系统的机器都可以被称为client。client是mfs系统的使用者。当client把mfs文件系统挂载到本机以后，它可以像使用一个普通的磁盘分区一样，来使用mfs。

试验环境

本文只介绍moosefs的部署与应用，出于试验的目的，并没有考虑性能因素，因此所有的服务器均使用虚拟机来实现。以后有机会做单独的物理服务器，然后对其性能进行测试。

拓扑图

备注：

（1） chunkserver1-4 均添加了一块虚拟的磁盘sda（磁盘空间一定要大于1G，我这里设置了4G），挂载到系统的/data下。所有服务器均升级内核为2.6.18-164本版，为什么要升级内核，下文会有介绍。

（2） 所有服务器均安装了完整版的mfs组件

安装与配置

安装mfs的前提条件

由于mfs的客户端程序也就是加载mfs磁盘系统的命令是使用fuse编写的，因此只要是想挂载mfs的服务器，必要的前提条件就是先安装fuse，这样编译mfs的时候才能顺利通过。另外一点需要注意：linux 2.6.18-164.e15 版本的linux内核中已经内置了fuse模块。但在该版本之前的linux内核中是不包含这个模块的。另fuse 从2.8.0-pre1 版本的源码包中去掉了fuse系统模块的源码部分，原因就是上一点提到的。这样我们在编译安装当前最新版本的fuse(2.8以上版本) 且正在使用的linux内核版本低于2.6.18-164.e15版本，则系统中是不包含fuse模块的。

解决的方法：

1、升级系统内核为2.6.18-164版本

为了方便起见直接利用yum升级系统内核即可。yum install kernel

安装成功后需重启系统

2、使用fuse 2.7x版本编译安装

该版本的fuse中包含了linux内核需要的fuse模块，配置编译选项时指定 –enable-kernel-module 选项，make的时候就会编译相应的fuse模块，make intall会将fuse.ko复制到 /lib/modules/`uname -r`/kernel/fs/fuse/ 目录下 安装后利用

1. # modprobe -l | grep fuse
2. /lib/modules/2.6.18-128.el5xen/kernel/fs/fuse/fuse.ko

查看是否正常安装

3、利用yum安装当前内核版本的fuse模块

1. yum install -y dkms-fuse dkms

安装fuse

如果只编译元数据服务端或数据存储服务端的话是没有必要安装fuse的。只有mfsmount需要fuse支持（编译时需要fuse的开发包，使用mfsmount挂载时需要fuse.ko系统模块）。可以使用源码或yum两种方式安装fuse

1、源码安装

1. # wget http://ncu.dl.sourceforge.net/project/fuse/fuse-2.X/2.8.1/fuse-2.8.1.tar.gz
2. # tar -xvzf fuse-2.8.1.tar.gz
3. # cd fuse-2.8.1
4. # ./configure –prefix=/usr/ –libdir=/usr/lib64
5. # make && make install

由于我系统为64位，因此在编译fuse时将lib目录定为/usr/lib64。这样在下面编译安装mfs时就不会因为找不到fuse的lib文件报错了。

2、yum安装

1. # yum install -y fuse fuse-devel

安装mfs

1. # useradd mfs -s /sbin/nologin
2. # ./configure –prefix=/usr/local/mfs –with-default-user=mfs –with-default-group=mfs –enable-mfsmount
3. # make && make install

查看安装后目录结构

1. # ll /usr/local/mfs/
2. total 20
3. drwxr-xr-x 2 root root 4096 Oct 14 15:14 bin
4. drwxr-xr-x 2 root root 4096 Oct 14 12:13 etc
5. drwxr-xr-x 2 root root 4096 Oct 14 15:14 sbin
6. drwxr-xr-x 3 root root 4096 Oct 14 12:13 share
7. drwxr-xr-x 3 root root 4096 Oct 14 12:13 var

bin – 客户端工具

etc – 元数据服务器，数据存储服务器的配置文件都放在该目录中

sbin – 元数据服务器端程序mfsmaster、数据存储服务器端服务程序mfschunkserver

share – 文档

var – 元数据目录（可在配置文件中自定义到其他目录）

配置master（元数据服务器）

IP:192.168.108.108

1. [[email protected]~]#vi/usr/local/mfs/etc/mfsmaster.cfg
2. #WORKING_USER=mfs
3. #WORKING_GROUP=mfs
4. #LOCK_FILE=/var/run/mfs/mfsmaster.pid
5. #DATA_PATH=/usr/local/mfs/var/mfs
6. #SYSLOG_IDENT=mfsmaster
7. #BACK_LOGS=50
8. #REPLICATIONS_DELAY_INIT=300
9. #REPLICATIONS_DELAY_DISCONNECT=3600
10. MATOCS_LISTEN_HOST=192.168.108.108
11. #MATOCS_LISTEN_PORT=9420
12. #MATOCU_LISTEN_HOST=*
13. #MATOCU_LISTEN_PORT=9421
14. #CHUNKS_LOOP_TIME=300
15. #CHUNKS_DEL_LIMIT=100
16. #CHUNKS_REP_LIMIT=15

注：这个配置文件中所有注掉的设置都是默认的配置。在这里我只更改了MATOCS_LISTEN_HOST的值，也就是将它修改为本机的ip地址：192.168.108.108 。如果又需要还可以修改DATA_PATH的设置将元数据目录存储到其他的分区或磁盘。其他的参数都很简单根据需要调整即可。

master会打开9420端口等待 mfschunkserver 连接

启动mfsmaster

1. [[email protected]~]#/usr/local/mfs/sbin/mfsmaster
2. [[email protected]~]#ps-ef|grepmfsmaster|grep-vgrep
3. mfs101321017:37?00:00:00/usr/local/mfs/sbin/mfsmaster
4. [[email protected]~]#netstat-tulnp|grepmfsmaster
5. tcp00192.168.108.108:94200.0.0.0:*LISTEN10132/mfsmaster
6. tcp000.0.0.0:94210.0.0.0:*LISTEN10132/mfsmaster

查看系统日志

1. [[email protected]~]#tail-f/var/log/messages
2. Oct1417:37:35mastermfsmaster:config:usingdefaultvalueforoption‘SYSLOG_IDENT’–‘mfsmaster’
3. Oct1417:37:35mastermfsmaster[10130]:config:usingdefaultvalueforoption‘WORKING_USER’–‘mfs’
4. Oct1417:37:35mastermfsmaster[10130]:config:usingdefaultvalueforoption‘WORKING_GROUP’–‘mfs’
5. …
6. Oct1417:37:35mastermfsmaster[10132]:config:usingdefaultvalueforoption‘CHUNKS_LOOP_TIME’–’300′

# 以上日志内容省略的很多，主要是程序读取配置的过程。

# 下面的部分为检查元数据和检查数据存储服务器的情况（每1分钟检查一次）。

# 由于我这里还没有启动chunkservers 因此在chunkservers status:的显示结果为空。total: usedspace: 的结果也为空。

1. Oct1417:38:00mastermfsmaster[10132]:inodes:45
2. Oct1417:38:00mastermfsmaster[10132]:dirnodes:3
3. Oct1417:38:00mastermfsmaster[10132]:filenodes:42
4. Oct1417:38:00mastermfsmaster[10132]:chunks:14
5. Oct1417:38:00mastermfsmaster[10132]:chunkstodelete:0
6. Oct1417:38:00mastermfsmaster[10132]:chunkserversstatus:
7. Oct1417:38:00mastermfsmaster[10132]:total:usedspace:0(0GB),totalspace:0(0GB),usage:0.00%

设置服务随系统启动

1. [[email protected]~]#echo“/usr/local/mfs/sbin/mfsmaster”>>/etc/rc.local

配置chunkserver（数据存储服务器）

IP:192.168.108.161~164

1. [[email protected]~]#vi/usr/local/mfs/etc/mfschunkserver.cfg
2. #WORKING_USER=mfs
3. #WORKING_GROUP=mfs
4. #DATA_PATH=/usr/local/mfs/var/mfs
5. #LOCK_FILE=/var/run/mfs/mfschunkserver.pid
6. #SYSLOG_IDENT=mfschunkserver
7. #BACK_LOGS=50
8. #MASTER_RECONNECTION_DELAY=30
9. MASTER_HOST=192.168.108.108
10. #MASTER_PORT=9420
11. #MASTER_TIMEOUT=60
12. #CSSERV_LISTEN_HOST=*
13. #CSSERV_LISTEN_PORT=9422
14. #CSSERV_TIMEOUT=60
15. #CSTOCS_TIMEOUT=60
16. #HDD_CONF_FILENAME=/usr/local/mfs/etc/mfshdd.cfg

配置存储分区

1. [[email protected]~]#vi/usr/local/mfs/etc/mfshdd.cfg
2. 删除
3. /mnt/hd1
4. /mnt/hd2
5. /mnt/hd3
6. /mnt/hd4

添加独立的分区

/data

修改分区所有者为mfs

1. [[email protected]~]#chownmfs.mfs/data

注：mfschunkserver 服务器的主配置很简单，没有特殊要求只需要修改MASTER_HOST的地址即可。存储分区的配置选择一个独立的磁盘分区（分区必须大于1G）。

启动mfschunkserver

1. [[email protected]~]#/usr/local/mfs/sbin/mfschunkserver
2. [[email protected]~]#netstat-an|grep9420
3. tcp00192.168.108.161:15099192.168.108.108:9420ESTABLISHED

同时查看系统日志

1. Oct1417:53:45vm_web_1mfschunkserver[1992]:connecting…
2. Oct1417:53:45vm_web_1mfschunkserver[1992]:connectedtoMaster

说明已经和master服务器成功连接

再查看master的日志查看

1. Oct1417:59:00experimentmfsmaster[10132]:server1(192.168.108.161):usedspace:560484352(0GB),totalspace:4226125824(3GB),usage:13.26%
2. Oct1417:59:00experimentmfsmaster[10132]:total:usedspace:560484352(0GB),totalspace:4226125824(3GB),usage:13.26%

同样也说明有一台 chunkserver 与自己连接，并给出了使用空间和剩余磁盘空间

剩余的3台mfschunkserver利用同样的方法配置好后启动mfschunkserver程序，这时候再查看master系统日志：

1. Oct1615:27:00experimentmfsmaster[10132]:inodes:9
2. Oct1615:27:00experimentmfsmaster[10132]:dirnodes:1
3. Oct1615:27:00experimentmfsmaster[10132]:filenodes:8
4. Oct1615:27:00experimentmfsmaster[10132]:chunks:18
5. Oct1615:27:00experimentmfsmaster[10132]:chunkstodelete:0
6. Oct1615:27:00experimentmfsmaster[10132]:chunkserversstatus:
7. Oct1615:27:00experimentmfsmaster[10132]:server1(192.168.108.162):usedspace:924282880(0GB),totalspace:4226125824(3GB),usage:21.87%
8. Oct1615:27:00experimentmfsmaster[10132]:server2(192.168.108.164):usedspace:924282880(0GB),totalspace:4226125824(3GB),usage:21.87%
9. Oct1615:27:00experimentmfsmaster[10132]:server3(192.168.108.163):usedspace:924282880(0GB),totalspace:4226125824(3GB),usage:21.87%
10. Oct1615:27:00experimentmfsmaster[10132]:server4(192.168.108.161):usedspace:924028928(0GB),totalspace:4226125824(3GB),usage:21.86%
11. Oct1615:27:00experimentmfsmaster[10132]:total:usedspace:3696877568(3GB),totalspace:16904503296(15GB),usage:21.87%

这里可以看到有4台chunkserver已经连接到了master

客户端挂载与工具使用

192.168.108.109

挂载MFS

mfsmount

1. [[email protected]~]#mkdir/mnt/mfs
2. [[email protected]~]#mfsmount-h192.168.108.108
3. *mfsmount默认情况下将分区加载到/mnt/mfs目录下。如果想加载到其他目录请利用-w参数。
4. mfsmount–help
5. usage:/usr/local/mfs/bin/mfsmount[-r][-m][-c][-v0..2][-hmasterhost][-pmasterport][-lpath][-wmountpoint]
6. r:readonlymode
7. m:mountmetadata
8. c:allowusingcache
9. v:verboselevel
10. defaults:
11. h:mfsmaster
12. p:9421
13. l:/
14. w:/mnt/mfs

修改MFS文件删除延迟时间

1. mfsrsettrashtime
2. [[email protected]~]#mfsrsettrashtime100/mnt/mfs/
3. /mnt/mfs/:
4. inodeswithtrashtimechanged:1(1)
5. inodeswithtrashtimenotchanged:0(0)
6. inodeswithpermissiondenied:0(0)

查看MFS文件删除延迟时间

1. mfsrgettrashtime
2. #mfsrgettrashtime/mnt/mfs/
3. /mnt/mfs/:
4. directorieswithtrashtime100:1(1)
5. mfssettrashtime
6. [[email protected]~]#mfssettrashtime60/mnt/mfs/
7. /mnt/mfs/:60
8. mfsgettrashtime
9. [[email protected]~]#mfsgettrashtime/mnt/mfs/
10. /mnt/mfs/:60
11. 设置文件保存份数
12. mfssetgoal
13. [[email protected]~]#mfssetgoal4/mnt/mfs/
14. /mnt/mfs/:4
15. 查看文件保存保存数
16. mfsgetgoal
17. [[email protected]~]#mfsgetgoal/mnt/mfs/
18. /mnt/mfs/:4
19. mfsrsetgoal
20. [[email protected]~]#mfsrsetgoal3/mnt/mfs/
21. /mnt/mfs/:
22. inodeswithgoalchanged:1(1)
23. inodeswithgoalnotchanged:0(0)
24. inodeswithpermissiondenied:0(0)
25. mfsrgetgoal
26. [[email protected]~]#mfsrgetgoal/mnt/mfs/
27. /mnt/mfs/:
28. directorieswithgoal3:1(1)

文件（文件夹）的查看（检查）命令

1. 先生成1个10M的文件
2. [[email protected]~]#ddif=/dev/zeroof=filebs=1Mcount=10
3. [[email protected]~]#cpfile/mnt/mfs
4. 文件信息查看
5. mfsfileinfo
6. [[email protected]~]#mfsfileinfo/mnt/mfs/file
7. /mnt/mfs/file:
8. chunk0:0000000000000001_00000001/(id:1ver:1)
9. copy1:192.168.108.161:9422
10. copy2:192.168.108.162:9422
11. copy3:192.168.108.163:9422
12. 文件检查
13. mfscheckfile
14. [[email protected]~]#mfscheckfile/mnt/mfs/file
15. /mnt/mfs/file:
16. 3copies:1chunks

目录信息查看

mfsdirinfo

1. [[email protected]~]#rm/mnt/mfs/file
2. [[email protected]~]#mkdir/mnt/mfs/newdir
3. [[email protected]~]#cpfile/mnt/mfs/newdir
4. [[email protected]~]#mfsdirinfo/mnt/mfs/newdir
5. /mnt/mfs/newdir/:
6. inodes:2(2)//inode个数，1个目录，1个文件
7. directories:1(1)//1个目录
8. files:1(1)//1个文件
9. goodfiles:1(1)//正常文件个数
10. undergoalfiles:0(0)
11. missingfiles:0(0)
12. chunks:1(1)
13. goodchunks:1(1)
14. undergoalchunks:0(0)
15. missingchunks:0(0)
16. length:10M(10485760)
17. size:10M(10490880)//这里是文件大小
18. hddusage:30M(31472640)//由于我设置文件份数为3，因此这里为3*100M
19. [[email protected]~]#cp/data/filenewdir/file_2
20. /mnt/mfs/newdir/:
21. inodes:3(3)
22. directories:1(1)
23. files:2(2)
24. goodfiles:2(2)
25. undergoalfiles:0(0)
26. missingfiles:0(0)
27. chunks:2(2)
28. goodchunks:2(2)
29. undergoalchunks:0(0)
30. missingchunks:0(0)
31. length:20M(20971520)
32. size:20M(20981760)
33. hddusage:60M(62945280)

创建文件快照

mfssnapshot

1. [[email protected]/mnt/mfs/newdir]#mfssnapshotmysnapshotfile
2. [[email protected]/mnt/mfs/newdir]#ll
3. total30720
4. -rw-r–r–1rootroot10485760Oct1616:43file
5. -rw-r–r–1rootroot10485760Oct1616:44file_2
6. -rw-r–r–1rootroot10485760Oct1616:58mysnapshot
7. [[email protected]/mnt/mfs/newdir]#mfsfileinfomysnapshot
8. mysnapshot:
9. chunk0:0000000000000003_00000001/(id:3ver:1)
10. copy1:192.168.108.161:9422
11. copy2:192.168.108.162:9422
12. copy3:192.168.108.163:9422
13. [[email protected]/mnt/mfs/newdir]#mfsfileinfofile
14. file:
15. chunk0:0000000000000003_00000001/(id:3ver:1)
16. copy1:192.168.108.161:9422
17. copy2:192.168.108.162:9422
18. copy3:192.168.108.163:9422

通过mfsfileinfo命令可以查看创建出来的文件快照，它只占用了一个inode，并不占用磁盘空间，就像ln命令创建硬链接类似。但mfsdirinfo的显示似乎有些问题：

1. [[email protected]/mnt/mfs/newdir]#mfsdirinfo/mnt/mfs/newdir/
2. /mnt/mfs/newdir/:
3. inodes:4(4)
4. directories:1(1)
5. files:3(3)
6. goodfiles:3(3)
7. undergoalfiles:0(0)
8. missingfiles:0(0)
9. chunks:3(3)
10. goodchunks:3(3)
11. undergoalchunks:0(0)
12. missingchunks:0(0)
13. length:30M(31457280)
14. size:30M(31472640)
15. hddusage:90M(94417920)

利用mfsdirinfo查看目录信息发现刚刚创建的快照文件也占用了与原文件相同大小的磁盘空间。但实际情况真的如此吗？

查看master的系统日志

1. Oct1617:14:00experimentmfsmaster[24445]:inodes:5
2. Oct1617:14:00experimentmfsmaster[24445]:dirnodes:2
3. Oct1617:14:00experimentmfsmaster[24445]:filenodes:3
4. Oct1617:14:00experimentmfsmaster[24445]:chunks:2
5. Oct1617:14:00experimentmfsmaster[24445]:chunkstodelete:0

通过日志的chunks: 2 可知有2个chunks 刚刚mfsfineinfo查看文件得知file文件占用1个chunks那么2个chunks 说明有2个文件。再往上看一行filenodes: 3 说明文件inode数为3 说明有3个文件，这正是2个文件+1个快照文件。

查看各个mfschunkserver的mfs文件

通过查看master日志和查看各个数据存储服务器上的mfs文件，验证了我们刚才用mfsfileinfo的检查结果！文件快照，它只占用了一个inode，并不占用磁盘空间，就像ln命令创建硬链接类似。