Ceph快速部署(CentOS7+Jewel)
第2页_服务器应用_Linux公社-Linux系统门户网站
你好，游客
Ceph快速部署(CentOS7+Jewel)
来源：Linux社区&
作者：thedream
目录内容如下
[root@mon-1 cluster]# lltotal 12-rw-r--r-- 1 root root& 197 Dec& 6 02:24 ceph.conf-rw-r--r-- 1 root root 2921 Dec& 6 02:24 ceph-deploy-ceph.log-rw------- 1 root root&
73 Dec& 6 02:24 ceph.mon.keyring
根据自己的IP配置向ceph.conf中添加public_network，并稍微增大mon之间时差允许范围(默认为0.05s，现改为2s)：
[root@mon-1 cluster]# echo public_network=192.168.50.0/24 &&ceph.conf [root@mon-1 cluster]# echo mon_clock_drift_allowed = 2 && ceph.conf [root@mon-1 cluster]# cat ceph.conf [global]fsid = 5-4208-bed6-274cae945746mon_initial_members = mon-1, osd-1, osd-2mon_host = 192.168.50.123,192.168.50.124,192.168.50.125auth_cluster_required = cephxauth_service_required = cephxauth_client_required = cephxpublic_network=192.168.50.0/24mon_clock_drift_allowed = 2
部署监控节点
[root@mon-1 cluster]# ceph-deploy& mon create-initial[ceph_deploy.conf][DEBUG ] found configuration file at: /root/.cephdeploy.conf[ceph_deploy.cli][INFO& ] Invoked (1.5.36): /usr/bin/ceph-deploy mon create-initial[ceph_deploy.cli][INFO& ] ceph-deploy options:[ceph_deploy.cli][INFO& ]& username& & & & & & & & & & & : None[ceph_deploy.cli][INFO& ]& verbose& & & & & & & & & & &
: False[ceph_deploy.cli][INFO& ]& overwrite_conf& & & & & & & & : False[ceph_deploy.cli][INFO& ]& subcommand& & & & & & & & & & : create-initial[ceph_deploy.cli][INFO& ]& quiet& & & & & & & & & & & &
: False[ceph_deploy.cli][INFO& ]& cd_conf& & & & & & & & & & &
: &ceph_deploy.conf.cephdeploy.Conf instance at 0x2023fc8&[ceph_deploy.cli][INFO& ]& cluster& & & & & & & & & & &
: ceph[ceph_deploy.cli][INFO& ]& func& & & & & & & & & & & & & : &function mon at 0x201d140&[ceph_deploy.cli][INFO& ]& ceph_conf& & & & & & & & & &
: None[ceph_deploy.cli][INFO& ]& default_release& & & & & & &
: False[ceph_deploy.cli][INFO& ]& keyrings& & & & & & & & & & & : None[ceph_deploy.mon][DEBUG ] Deploying mon, cluster ceph hosts mon-1 osd-1 osd-2......省略[ceph_deploy.gatherkeys][INFO& ] Storing ceph.client.admin.keyring[ceph_deploy.gatherkeys][INFO& ] Storing ceph.bootstrap-mds.keyring[ceph_deploy.gatherkeys][INFO& ] keyring 'ceph.mon.keyring' already exists[ceph_deploy.gatherkeys][INFO& ] Storing ceph.bootstrap-osd.keyring[ceph_deploy.gatherkeys][INFO& ] Storing ceph.bootstrap-rgw.keyring[ceph_deploy.gatherkeys][INFO& ] Destroy temp directory /tmp/tmpVLiIFr
目录内容如下
[root@mon-1 cluster]# lltotal 76-rw------- 1 root root&
113 Dec& 6 22:49 ceph.bootstrap-mds.keyring-rw------- 1 root root&
113 Dec& 6 22:49 ceph.bootstrap-osd.keyring-rw------- 1 root root&
113 Dec& 6 22:49 ceph.bootstrap-rgw.keyring-rw------- 1 root root&
129 Dec& 6 22:49 ceph.client.admin.keyring-rw-r--r-- 1 root root&
300 Dec& 6 22:47 ceph.conf-rw-r--r-- 1 root root 50531 Dec& 6 22:49 ceph-deploy-ceph.log-rw------- 1 root root& & 73 Dec& 6 22:46 ceph.mon.keyring
查看集群状态
[root@mon-1 ceph]# ceph -s& & cluster 1b27aaf2-8b29-49b1-b50e-7ccb1f72d1fa& &
health HEALTH_ERR& & & & & & no osds& &
monmap e1: 1 mons at {mon-1=192.168.50.123:6789/0}& & & & & & election epoch 3, quorum 0 mon-1& &
osdmap e1: 0 osds: 0 up, 0 in& & & & & & flags sortbitwise& & & pgmap v2: 64 pgs, 1 pools, 0 bytes data, 0 objects& & & & & & 0 kB used, 0 kB / 0 kB avail& & & & & & & & & 64 creating
开始部署OSD：
[root@mon-1 cluster]# ceph-deploy& --overwrite-conf osd prepare& mon-1:/dev/sdb& mon-1:/dev/sdc& mon-1:/dev/sdd osd-1:/dev/sdb& osd-1:/dev/sdc& osd-1:/dev/sdd& osd-2:/dev/sdb& osd-2:/dev/sdc& osd-2:/dev/sdd& --zap-disk这里如果部署osd-2有问题，就删除程序和目录，重新分区以后成功创建osd-2ceph-deploy& --overwrite-conf osd prepare& osd-2:/dev/sdb& osd-2:/dev/sdc& osd-2:/dev/sdd
[root@mon-1 ~]# lsblk NAME& & & & & & MAJ:MIN RM& SIZE RO TYPE MOUNTPOINTfd0& & & & & & &
2:0& & 1& & 4K& 0 disk sda& & & & & & &
20G& 0 disk ├─sda1& & & & & & 8:1& & 0& 500M& 0 part /boot└─sda2& & & & & & 8:2& & 0 19.5G& 0 part & ├─-root 253:0& & 0 18.5G& 0 lvm& /& └─centos-swap 253:1& & 0& & 1G& 0 lvm& [SWAP]sdb& & & & & & &
0& & 2T& 0 disk ├─sdb1& & & & & & 8:17&
0& & 2T& 0 part /var/lib/ceph/osd/ceph-0└─sdb2& & & & & & 8:18&
0& & 5G& 0 part sdc& & & & & & &
0& & 2T& 0 disk ├─sdc1& & & & & & 8:33&
0& & 2T& 0 part /var/lib/ceph/osd/ceph-1└─sdc2& & & & & & 8:34&
0& & 5G& 0 part sdd& & & & & & &
0& & 2T& 0 disk ├─sdd1& & & & & & 8:49&
0& & 2T& 0 part /var/lib/ceph/osd/ceph-2└─sdd2& & & & & & 8:50&
0& & 5G& 0 part sr0& & & & & & & 11:0& & 1& 603M& 0 rom& [root@osd-1 ~]# lsblk NAME& & & & & & MAJ:MIN RM& SIZE RO TYPE MOUNTPOINTfd0& & & & & & &
2:0& & 1& & 4K& 0 disk sda& & & & & & &
20G& 0 disk ├─sda1& & & & & & 8:1& & 0& 500M& 0 part /boot└─sda2& & & & & & 8:2& & 0 19.5G& 0 part & ├─centos-root 253:0& & 0 18.5G& 0 lvm& /& └─centos-swap 253:1& & 0& & 1G& 0 lvm& [SWAP]sdb& & & & & & &
0& & 2T& 0 disk ├─sdb1& & & & & & 8:17&
0& & 2T& 0 part /var/lib/ceph/osd/ceph-3└─sdb2& & & & & & 8:18&
0& & 5G& 0 part sdc& & & & & & &
0& & 2T& 0 disk ├─sdc1& & & & & & 8:33&
0& & 2T& 0 part /var/lib/ceph/osd/ceph-4└─sdc2& & & & & & 8:34&
0& & 5G& 0 part sdd& & & & & & &
0& & 2T& 0 disk ├─sdd1& & & & & & 8:49&
0& & 2T& 0 part /var/lib/ceph/osd/ceph-5└─sdd2& & & & & & 8:50&
0& & 5G& 0 part sr0& & & & & & & 11:0& & 1& 603M& 0 rom& [root@osd-2 ~]# lsblk NAME& & & & & & MAJ:MIN RM& SIZE RO TYPE MOUNTPOINTfd0& & & & & & &
2:0& & 1& & 4K& 0 disk sda& & & & & & &
20G& 0 disk ├─sda1& & & & & & 8:1& & 0& 500M& 0 part /boot└─sda2& & & & & & 8:2& & 0 19.5G& 0 part & ├─centos-root 253:0& & 0 18.5G& 0 lvm& /& └─centos-swap 253:1& & 0& & 1G& 0 lvm& [SWAP]sdb& & & & & & &
0& & 2T& 0 disk ├─sdb1& & & & & & 8:17&
0& & 2T& 0 part /var/lib/ceph/osd/ceph-6└─sdb2& & & & & & 8:18&
0& & 5G& 0 part sdc& & & & & & &
0& & 2T& 0 disk ├─sdc1& & & & & & 8:33&
0& & 2T& 0 part /var/lib/ceph/osd/ceph-7└─sdc2& & & & & & 8:34&
0& & 5G& 0 part sdd& & & & & & &
0& & 2T& 0 disk ├─sdd1& & & & & & 8:49&
0& & 2T& 0 part /var/lib/ceph/osd/ceph-8└─sdd2& & & & & & 8:50&
0& & 5G& 0 part sr0& & & & & & & 11:0& & 1& 603M& 0 rom
这里有个WARN，去掉这个WARN只需要增加rbd池的PG就好
[root@mon-1 cluster]# ceph osd pool set rbd pg_num 128set pool 0 pg_num to 128[root@mon-1 cluster]# ceph osd pool set rbd pgp_num 128set pool 0 pgp_num to 128& [root@mon-1 cluster]# ceph -s& & cluster 5-4208-bed6-274cae945746& &
health HEALTH_OK& &
monmap e3: 2 mons at {mon-1=192.168.50.123:6789/0,osd-1=192.168.50.124:6789/0}& & & & & & election epoch 30, quorum 0,1 mon-1,osd-1& &
osdmap e58: 9 osds: 9 up, 9 in& & & & & & flags sortbitwise& & & pgmap v161: 128 pgs, 1 pools, 0 bytes data, 0 objects& & & & & & 310 MB used, 18377 GB / 18378 GB avail& & & & & & & &
128 active+clean
给各个节点推送config配置
请不要直接修改某个节点的/etc/ceph/ceph.conf文件的，而是要去部署节点(此处为ceph-1:/root/cluster/ceph.conf)目录下修改。因为节点到几十个的时候，不可能一个个去修改的，采用推送的方式快捷安全！
修改完毕后，执行如下指令，将conf文件推送至各个节点：
[root@mon-1 cluster]# ceph-deploy --overwrite-conf config push mon-1 osd-1 osd-2[ceph_deploy.conf][DEBUG ] found configuration file at: /root/.cephdeploy.conf[ceph_deploy.cli][INFO& ] Invoked (1.5.36): /usr/bin/ceph-deploy admin mon-1 osd-1 osd-2[ceph_deploy.cli][INFO& ] ceph-deploy options:[ceph_deploy.cli][INFO& ]& username& & & & & & & & & & & : None[ceph_deploy.cli][INFO& ]& verbose& & & & & & & & & & &
: False[ceph_deploy.cli][INFO& ]& overwrite_conf& & & & & & & & : False[ceph_deploy.cli][INFO& ]& quiet& & & & & & & & & & & &
: False[ceph_deploy.cli][INFO& ]& cd_conf& & & & & & & & & & &
: &ceph_deploy.conf.cephdeploy.Conf instance at 0x1a34e18&[ceph_deploy.cli][INFO& ]& cluster& & & & & & & & & & &
: ceph[ceph_deploy.cli][INFO& ]& client& & & & & & & & & & & & : ['mon-1', 'osd-1', 'osd-2'][ceph_deploy.cli][INFO& ]& func& & & & & & & & & & & & & : &function admin at 0x1964f50&[ceph_deploy.cli][INFO& ]& ceph_conf& & & & & & & & & &
: None[ceph_deploy.cli][INFO& ]& default_release& & & & & & &
: False[ceph_deploy.admin][DEBUG ] Pushing admin keys and conf to mon-1[mon-1][DEBUG ] connected to host: mon-1 [mon-1][DEBUG ] detect platform information from remote host[mon-1][DEBUG ] detect machine type[mon-1][DEBUG ] write cluster configuration to /etc/ceph/{cluster}.conf[root@mon-1 cluster]# ceph-deploy --overwrite-conf config push ceph-1 ceph-2 ceph-3[ceph_deploy.admin][DEBUG ] Pushing admin keys and conf to osd-1[osd-1][DEBUG ] connected to host: osd-1 [osd-1][DEBUG ] detect platform information from remote host[osd-1][DEBUG ] detect machine type[osd-1][DEBUG ] write cluster configuration to /etc/ceph/{cluster}.conf[ceph_deploy.admin][DEBUG ] Pushing admin keys and conf to osd-2[osd-2][DEBUG ] connected to host: osd-2 [osd-2][DEBUG ] detect platform information from remote host[osd-2][DEBUG ] detect machine type[osd-2][DEBUG ] write cluster configuration to /etc/ceph/{cluster}.conf
此时，需要重启各个节点的monitor服务
mon和osd的启动方式
#mon-1为各个monitor所在节点的主机名。systemctl start ceph-mon@mon-1.service systemctl restart ceph-mon@mon-1.servicesystemctl stop ceph-mon@mon-1.service#0为该节点的OSD的id，可以通过`ceph osd tree`查看systemctl start/stop/restart ceph-osd@0.service
遇到的报错
1. Monitor clock skew detected
1. Monitor clock skew detected
[root@mon-1 cluster]# ceph -s& & cluster f25ad2c5-fd2a-4fcc-a522-344eb498fee5& &
health HEALTH_ERR& & & & & & clock skew detected on mon.osd-2& & & & & & 64 pgs are stuck inactive for more than 300 seconds& & & & & & 64 pgs stuck inactive& & & & & & no osds& & & & & & Monitor clock skew detected
添加配置参数：& & & & & & &
vim /etc/ceph/ceph.confmon clock drift allowed = 2mon clock drift warn backoff = 30
同步配置文件
ceph-deploy --overwrite-conf admin osd-1 osd-2
重启mon服务
systemctl restart ceph-mon@osd-2.service
问题总结：
本问题主要是mon节点服务器，时间偏差比较大导致，本次遇到问题为测试环境，通过修改ceph对时间偏差阀值，规避的告警信息，线上业务环境，注意排查服务器时间同步问题。
本文永久更新链接地址：2
相关资讯 & & &
& (03月09日)
& (03月03日)
& (03月17日)
& (03月09日)
& (02月17日)
同意评论声明
发表
尊重网上道德，遵守中华人民共和国的各项有关法律法规
承担一切因您的行为而直接或间接导致的民事或刑事法律责任
本站管理人员有权保留或删除其管辖留言中的任意内容
本站有权在网站内转载或引用您的评论
参与本评论即表明您已经阅读并接受上述条款掌握?眼?技巧 化?菜?瞬??高手
????： 19:09&
( 19:09:26更新)&
相信?眼?是很多新手mm感到困?的，如果掌握不好，眼?就??得歪歪扭扭、粗?不一，甚至很多?候，?了老大???也化不好，?了擦，擦了再?，浪?的大量??精力。到底怎?才能?出精?的眼?呢? 在一款精?的眼?中，?眼?的步?起著重要的作用，?比唇膏、粉底?的彩???，?眼??得要??的多，可以?是技?含量?高的，??很多?美的MM望而?步，但其?只要找?方法，掌握??，?眼???有你想象的那???哦。 Step1、我??眼?首先要掌握的一?技巧，在?眼?的?候把小?子放在眼睛的下方，??可以?你看得更清楚，之後用一?手??提起上眼皮，好?睫毛的根部充分暴露出?。 Step2、之後??一根柔?的眼??，?每根睫毛的空隙都填?，?於新手??，我???有要求?要一步完成，因?眼?重要的是??色?抹均?，不留空隙。 本期推?：?玲妃?女孩防水眼??
?考?格：￥230/2.2g ??推?理由：超黑??的?玲妃?女孩防水眼??，防?染、?效持久，??雨天晴天，始??守?位不??。用一??染小?招，性感?熏眼?手到擒?。 Step3、?填?睫毛空隙之後，?始??描?眼?，注意要??著睫毛的根部?描?，?眼?一直?到眼尾外。?到眼尾?后，再一??慢慢向上提?，?出稍微上?的眼角。 Step4、如果新手?掌握不好，也可以?眼?分成三段?描?。在??一步的?候，也需要用一?手?上眼皮??提起?，??更容易上?。 Step5、如果你是?眼皮，那??眼?的?度大?是2mm，如果是?眼皮，那?眼?可以??加?一?。 Step6、最後的一?步?，我??手??扒?下眼?，重?和上眼?一?的步?，把下眼?也??好下。?於像白?mm那?的一?人，她?是需要?比?清淡的眼?，因此也可省略下眼?。 Step7、?好眼?后??眼睛看看效果，能微微看到眼?的痕?效果最好，可不要?得太??了。 猜你喜?的文章：
Facebook留言板
您可能有?趣
秋冬??，化?台上的保?品也得跟著?季。尤其乾性肌?若?有足?的保?，肌?也??始出???，所?"保?做得好，面子???"，在?
女明星的?再好看也是化???出?的，但?些博主的?可是?打?自己研究自己化的哦！相?於亦步亦?的女明星需要?自己零死角的美，她?
哇唔，眼看又到了最?人期待的???假啦!你??利用?假去那??玩呢??美的mm?肯定是要美美出?啦!美美的你?怎?少得了?些彩?
?非正式??，在彩??品?面，唇膏是?售最好的?品之一哦，可想而知它的魅力有多大。?唇烈焰，?色的嘴唇?能代表女性的魅力。下
唇膏在人?的眼中就是代表著性感、魅力的象徵，所以?在的?唇??如此猛。每?女人都??有一支?於自己的唇膏，它能?自己表?出自
粉?色可?是女生?最喜?的?色了，粉色代表著青春、?暖、童?、美?......各大彩?品牌不再??是注重
?眼皮和??美眉每次拿起眼??和眼影棒都不知道?何下手，窄小的眼皮?廓怎?折?都??法跟?眼皮美眉相提??。其?不然，?眼皮眼睛
很多?眼皮MM都??只有?眼皮?才能拯救她?的眼睛，其?要想眼睛?得更大更有神不一定要用?眼皮?，只需要有技巧的用眼?勾勒
只要?眼皮化?技巧，?眼皮也可以打造出?毫不?色于?眼皮的魅力?眼，本期就教?眼皮MM如何?在八步?速成迷人?眼。
好用的眼???感要?滑流?，容易操作，能??出精?的眼?，?助你打造有神明亮的大眼睛。除此之外，防水防
眼??於眼?的重要性?如打??陪汽水，?好一手好眼?，不?塑造好眼型，?能?眼?更升?。但是要?好眼?需要技?跟好用的眼??，下
菲拉格慕(SaLVatore Ferragamo) 菲拉格慕(Salvatore Ferragamo)的?光糖果色系
亮色???搭配示?美眉的白色???搭配牛仔?衫?色搭配得?，硬朗的牛仔色和舒?的布?????柔美??一?，金色??和手?的搭配非
??的?色尖??高跟，?如一朵?刺的玫瑰花。
漆皮?地的亮?色高跟鞋，不用?多的??，高度
jewelyu12的情?
???分享?容
??入商品???址
想把商品??到哪一本??
??名?限35?字。
?存商品中，?稍候...
您在?逛街遇到的??都?回??我?，
非常感?您?意?我?的服?提出意?或建?。
目前所在?面:http://iguang.tw/?block=2
??入您的e-mail：
意?送出成功
感?您的回?!
?逛街***中心?在3~5?工作天??理?以Email回覆您!
