35.Ceph安装配置

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

[Ceph]
name=Ceph packages for $basearch
baseurl=https://mirrors.huaweicloud.com/ceph/rpm-nautilus/el7/$basearch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.huaweicloud.com/ceph/keys/release.asc
priority=1

[Ceph-noarch]
name=Ceph noarch packages
baseurl=https://mirrors.huaweicloud.com/ceph/rpm-nautilus/el7/noarch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.huaweicloud.com/ceph/keys/release.asc
priority=1

[ceph-source]
name=Ceph source packages
baseurl=https://mirrors.huaweicloud.com/ceph/rpm-nautilus/el7/SRPMS
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.huaweicloud.com/ceph/keys/release.asc
priority=1

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

sudo yum install -y
https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm

#修改repo文件

/etc/yum.repos.d/ceph.repo

yum clean all

yum install -y ceph-deploy

1
2
3
4
5

10.0.67.15 node1

10.0.67.19 node2

10.0.67.21 node3

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

useradd -d /home/cephuser -m cephuser

passwd cephuser


###KFXUXBIFSD8FDOCIi9zKC##

###确保各 Ceph 节点上新创建的用户都有 sudo 权限###

echo "cephuser ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephuser

sudo chmod 0440 /etc/sudoers.d/cephuser

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

Host node1

Hostname node1

User cephuser

Host node2

Hostname node2

User cephuser

Host node3

Hostname node3

User cephuser

1
2
3
4
5
6
7
8
9

systemctl stop firewalld

systemctl disable firewalld

#或者要对公共域开放 Ceph Monitors 使用的 6789 端口和 OSD 使用的6800:7300 端口范围,并且要配置为永久规则,这样重启后规则仍有效

sudo firewall-cmd --zone=public --add-service=ceph-mon --permanent

sudo firewall-cmd --zone=public --add-service=ceph --permanent

1
2
3

mkdir my-cluster

cd my-cluster

1
2
3
4

ceph-deploy purge node1 node2 node3
ceph-deploy purgedata node1 node2 node3
ceph-deploy forgetkeys
rm -rf ceph*

1
2
3

sgdisk --zap-all /dev/vda4
ll /dev/mapper/
dmsetup remove /dev/mapper/ceph--xxxxxx

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65

###在默认的监控节点(mon)创建集群,并指定网络域,就是ceph服务器的ip网段###
ceph-deploy new node1 --public-network 10.0.67.0/24

###在所有节点上安装ceph###
ceph-deploy install node1 node2 node3

##初始化监控节点###
ceph-deploy mon create-initial

###在默认的mon节点上启动mgr###
ceph-deploy mgr create node1

###把配置文件和client.admin推送到其他节点###
ceph-deploy admin node1 node2 node3

###创建 osd ,osd映射到磁盘或者分区###
ceph-deploy osd create --data /dev/vda4 node1
ceph-deploy osd create --data /dev/vda4 node2
ceph-deploy osd create --data /dev/vda4 node3

###如果要使用cephfs,需要至少一个MDS服务实例###
ceph-deploy mds create node1
ceph-deploy mds create node2
ceph-deploy mds create node3

###增加监控节点####
ceph-deploy mon add node2
ceph-deploy mon add node3

###增加和mon服务对应的mgr服务节点###
ceph-deploy mgr create node2
ceph-deploy mgr create node3

###若是出现异常,检查ecph.conf的public_network,一般是这个问题###

###推送配置文件####
#ceph-deploy --overwrite-conf config push node1 node2 node3
#ceph-deploy admin node1 node2 node3

###检查集群健康状态###
ceph health

###查看异常原因,detail也可以用在其他命令###
ceph health detail
ceph osd pool ls detail

###集群状态###
ceph -s

###集群状态实时监控###
ceph -w

###查看osd的树信息###
ceph osd tree

###查看osd磁盘信息###
ceph osd df

###查看mds###
ceph mds stat

###查看各种Map的信息可以通过如下命令:ceph osd(mon/pg) dump

###查看集群mon节点状态###
ceph quorum_status --format json-pretty

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

[global]
###默认2副本###
osd_pool_default_size = 2

###最少1个副本在线###
osd_pool_default_min_size = 1

###默认pg数量###
#osd_pool_default_pg_num = 32
#osd_pool_default_pgp_num = 32

###默认自动扩容pg###
osd_pool_default_pg_autoscale_mode = on

###每个osd最大的pg数量
mon_max_pg_per_osd=512

##osd的硬盘使用85%告警,95%不再写入###
mon_osd_full_ratio = .95
mon_osd_nearfull_ratio = .85

### OSD的配置 ###
[osd]

###
scrub是保证ceph数据一致性的机制,Scrub的开始结束时间,一般是闲时###
osd_scrub_begin_hour=2
osd_scrub_end_hour=5

###MON的配置###
[mon]

###允许删除pool###
mon_allow_pool_delete = true

1
2
3

######ceph-deploy推送配置文件######

ceph-deploy --overwrite-conf config push node1 node2 node3

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

rados put {Object-name} {file-path} --pool=cephpool
rados put test-Object-1 a.txt --pool=cephpool

###确认Ceph存储集群存储了此对象###
rados -p cephpool ls

###定位对象###
ceph osd map {pool-name} {Object-name}
ceph osd map cephpool test-Object-1
#会显示对象所在的pg和osd

###删除对象###
rados rm test-Object-1 --pool=cephpool

##然后调用配置分发,然后手动重启mon###
systemctl restart ceph-mon@node1
ceph osd pool rm cephpool cephpool --yes-i-really-really-mean-it

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

###先升级ceph-deploy工具###
yum install ceph-deploy python-pushy

###小版本升级 yum update ceph ####
###设置noout,防止升级过程中数据重平衡,升级完成后取消设置即可###
###set是集群参数,任意一个节点设置就行###
ceph osd set noout

###升级ceph版本###
#ceph-deploy install --release {release-name} ceph-node1[ceph-node2]
ceph-deploy install --release nautilus node1 node2 node3

###取消noout设置###
ceph osd unset noout

###重启###
#依次重启服务器,省的麻烦......
#重启前一定要确保集群属于健康状态.

###查看状态###
ceph --version
ceph -s
ceph mon stat

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

###创建块存储池###
ceph osd pool create cephrbdpool 32

###若是提示application不可用,手动生效###
#ceph osd pool application enable cephrbdpool rbd

###先创建一个映像###

##映像只有写入数据时它们才会占用物理空间. --size选项设置最大容量.##
#rbd create --size {megabytes} {pool-name}/{image-name}
rbd create --size 1024 cephrbdpool/rbdredis

###查看存储池中的块设备###
#rbd ls {poolname}
rbd ls cephrbdpool

###检索映像信息###
#rbd info {pool-name}/{image-name}
rbd info cephrbdpool/rbdredis

###调整块设备大小###
rbd resize --size 2048 cephrbdpool/rbdredis ##增加##
rbd resize --size 2048 cephrbdpool/rbdredis --allow-shrink
##减少##

###删除###
#rbd rm {pool-name}/{image-name}
rbd rm cephrbdpool/rbdredis

1

ceph auth get-or-create client.rbdredis mon 'allow r' osd 'allow rwx pool=cephrbdpool' -o /etc/ceph/ceph.client.rbdredis.keyring

1
2

###内核支持情况###  
rbd device map cephrbdpool/rbdredis

1
2
3
4
5
6
7
8

#有些功能内核并不支持,根据提示执行禁用命令
rbd feature disable cephrbdpool/rbdredis object-map fast-diff deep-flatten

###映像名映射为内核模块.必须指定映像名.存储池名.和用户名,rbd命令会自动加载内核模块.###
rbd device map {pool-name}/{image-name} --id {user-name}

###固定用户的权限进行挂载,成功返回本机挂载点###
rbd device map cephrbdpool/rbdredis --id rbdredis --keyring /etc/ceph/ceph.client.rbdredis.keyring

1
2
3
4
5
6

###查看挂载列表###
rbd device list

###卸载挂载###
#rbd device unmap /dev/rbd/{poolname}/{imagename}
rbd device unmap /dev/rbd/cephrbdpool/rbdredis

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

###创建快照,要指定snap create 选项.存储池名和映像名###
#rbd snap create {pool-name}/{image-name}@{snap-name}
rbd snap create cephrbdpool/rbdredis@snap0001

###查看快照###
#rbd snap ls {pool-name}/{image-name}
rbd snap ls cephrbdpool/rbdredis

###回滚快照###
#rbd snap rollback {pool-name}/{image-name}@{snap-name}
rbd snap rollback cephrbdpool/rbdredis@snap0001

###删除快照###
#rbd snap rm {pool-name}/{image-name}@{snap-name}
rbd snap rm cephrbdpool/rbdredis@snap0001

###清除快照,清除映像的所有快照###
#rbd snap purge {pool-name}/{image-name}
rbd snap purge cephrbdpool/rbdredis

###分层的父子快照,自己看吧,懒得写了###

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

###创建文件系统需要的pool###
ceph osd pool create cephfs_data 128
ceph osd pool create cephfs_metadata 128
ceph fs new cephfs cephfs_metadata cephfs_data

###查看###
ceph fs ls

###设置cephfs最大空间,一般不用设置,也可以在pool上设置####
#ceph fs set cephfs max_file_size 9999999999999

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

mkdir /mnt/mycephfs

### mount -t ceph {ip-address-of-monitor}:6789:/ /mnt/mycephfs

/usr/bin/mount -t ceph node1:6789:/ /mnt/mycephfs -o name=admin,secretfile=/etc/ceph/admin.secret

#也可以挂载多个mon节点

/usr/bin/mount -t ceph node1,node2,node3:6789:/ /mnt/mycephfs -o name=admin,secretfile=/etc/ceph/admin.secret

#其他节点安装

ceph-deploy install node2

#创建相同内容的admin.secret 文件,然后挂载

###开机挂载需要确保有mds服务在线,使用/etc/rc.d/rc.local,不建议使用/etc/fstab挂载,风险太高了!
###/etc/fstab###  
node1,node2,node3:6789:/ /mnt/mycephfs ceph name=admin,secretfile=/etc/ceph/admin.secret,noatime,_netdev 0 2



###/etc/rc.d/rc.local###  
/usr/bin/mount -t ceph node1,node2,node3:6789:/ /mnt/mycephfs -o name=admin,secretfile=/etc/ceph/admin.secret

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

mkdir /mnt/mycephfs/shop
＃ceph fs authorize cephfs client.shop / r /shop rw
ceph fs authorize cephfs client.shop /shop rw

#命令会返回用户的加密key,和上面的admin类似,创建一个文件保存,用于挂载
mkdir /mnt/shop
/usr/bin/mount -t ceph node1,node2,node3:6789:/shop /mnt/shop -o
name=shop,secretfile=/etc/ceph/shop.secret

#设置目录配额大小:http://docs.ceph.com/docs/master/cephfs/quota/

#安装 attr 组件
yum install attr

###设置根目录最多100M大小###
setfattr -n ceph.quota.max_bytes -v 100000000 /mnt/mycephfs

###设置根目录最多10000个文件###
ceph.quota.max_files -v 10000 /mnt/mycephfs

###跟单独的文件夹加设置权限,需要是挂载的根目录的完整路径####

#例如: /mnt/mycephfs/shop 是个单独用户的子目录,挂载到了/mnt/shop上
setfattr -n ceph.quota.max_bytes -v 100000000 /mnt/shop #这样是不行的

#需要是:
setfattr -n ceph.quota.max_bytes -v 100000000 /mnt/mycephfs/shop

#这样,就是改在到其他目录.例如/mnt/shop,大小也是固定的.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22

###设置启用快照###
ceph fs set <fs_name> allow_new_snaps true
ceph fs set cephfs allow_new_snaps true

#创建快照很简单,在需要做快照的目录下面执行 mkdir .snap/snapname 后面接快照的名称

#例如给 /mnt/mycephfs 做快照
cd /mnt/mycephfs
mkdir .snap/mysnap001

###删除/mnt/mycephfs下的一个文件###
rm -rf a.txt

###恢复快照###
cp -ra .snap/mysnap001/* ./
.snap/mysnap001 目录下保存了完整的文件,也可以单独复制一个
cp -ra .snap/mysnap001/a.txt ./

###删除快照###
rmdir .snap/mysnap001

###du -sh ./ 不能看到快照的占用的空间,ceph osd df 可以看到总容量###

1
2
3
4

###创建快照###
#rados mksnap snap_cephfs_metadata_001 -p cephfs_metadata
ceph osd pool mksnap cephfs_metadata snap_cephfs_metadata_001
ceph osd pool mksnap cephfs_data snap_cephfs_data_001

1
2
3
4
5
6
7
8

###查看快照###
#rados lssnap -p cephfs_metadata

###删除快照###
ceph osd pool rmsnap cephfs_metadata snap_cephfs_metadata_001

###恢复快照###
rados rollback -p cephfs_metadata snap_cephfs_metadata_001

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

###osd.0权重逐渐降低到0,数据慢慢迁移####  
ceph osd crush reweight osd.0 0

###标记为out###  
ceph osd out osd.0

###标记为down###  
ceph osd down osd.0

###从crush中移除节点###
ceph osd crush rm osd.0

###删除节点###
ceph osd rm osd.0

###删除节点认证,不删除编号会占住###
ceph auth del osd.0

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

###清除掉磁盘的GPT信息####
sgdisk --zap-all /dev/vda4
dmsetup remove /dev/mapper/ceph--xxxxxx

###如果一直无法删除osd.0,可以在这里执行ceph osd rm osd.0###

###创建新的osd###
ceph-deploy osd create --data /dev/vda4 node1

####删除mon###
ceph-deploy mon destroy node1

##清除其他组件(mds,mgr)###
ceph-deploy purge node1

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

###启用###
ceph mgr module enable dashboard

###禁用###
ceph mgr module disable dashboard

###创建SSL证书,使用HTTP协议会报错###
ceph dashboard create-self-signed-cert
openssl req -new -nodes -x509 -subj "/O=IT/CN=ceph-mgr-dashboard" -days 36500 -keyout dashboard.key -out dashboard.crt -extensions v3_ca

###配置证书###
ceph config-key set mgr/dashboard/crt -i dashboard.crt
ceph config-key set mgr/dashboard/key -i dashboard.key

###配置IP和端口###
ceph config set mgr mgr/dashboard/node1/server_addr 10.0.67.15
ceph config set mgr mgr/dashboard/node1/server_port 7000

###创建登陆的用户名密码###
ceph dashboard set-login-credentials testuser testpwd

###重启mgr服务,如果出现错误就按照提示重启一次###
systemctl restart ceph-mgr@node1

###查看所有的配置####
ceph config-key dump

###删除指定的key###
ceph config-key rm mgr/dashboard/server_addr 

###查看mgr监听的端口####
netstat -tunlp|grep 7000