亚洲精品久久久久久第一页-人妻少妇精彩视品一区二区三区-91国产自拍免费视频-免费一级a在线播放视频正片-少妇天天日天天射天天爽-国产大屁股喷水视频在线观看-操美女骚穴抽插性爱视频-亚洲 欧美 中文字幕 丝袜-成人免费无码片在线观看

  1. 首頁(yè) > 生活知識(shí) > >

ceph分布式存儲(chǔ)搭建 ceph分布式存儲(chǔ)優(yōu)缺點(diǎn)

生活百科ceph


ceph分布式存儲(chǔ)搭建 ceph分布式存儲(chǔ)優(yōu)缺點(diǎn)

文章插圖
一、認(rèn)識(shí)分布式存儲(chǔ)分布式存儲(chǔ)系統(tǒng)，就是通過(guò)網(wǎng)絡(luò)將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)獨(dú)立的設(shè)備上二、分布式存儲(chǔ)的特性可擴(kuò)展性1）節(jié)點(diǎn)擴(kuò)展后，舊數(shù)據(jù)會(huì)自動(dòng)遷移到新節(jié)點(diǎn)上，實(shí)現(xiàn)負(fù)載均衡，避免單點(diǎn)過(guò)熱的情況出現(xiàn)2）水平擴(kuò)展只需要將新節(jié)點(diǎn)和原有集群連接到同一網(wǎng)絡(luò)，整個(gè)過(guò)程不會(huì)對(duì)集群業(yè)務(wù)造成影響3）當(dāng)節(jié)點(diǎn)添加到集群，集群系統(tǒng)的整體容量和性能也會(huì)隨之線性擴(kuò)展，此后新節(jié)點(diǎn)的資源就會(huì)被管理平臺(tái)接管，被用于分配或者回收低成本高性能易用分布式存儲(chǔ)系統(tǒng)需要能提供易用的對(duì)外接口，另外也需要完整的監(jiān)控，運(yùn)維工具，并能夠與其他系統(tǒng)集成易管理分布式存儲(chǔ)系統(tǒng)的挑戰(zhàn)主要在于數(shù)據(jù)，狀態(tài)信息的持久化，要求在自動(dòng)遷移，自動(dòng)容錯(cuò)，并發(fā)讀寫的過(guò)程中保證數(shù)據(jù)的一致性 。分布式存儲(chǔ)系統(tǒng)涉及的技術(shù)主要在兩個(gè)領(lǐng)域： 分布式系統(tǒng)以及數(shù)據(jù)庫(kù)三、Ceph簡(jiǎn)介優(yōu)勢(shì)及架構(gòu)簡(jiǎn)介：Ceph是一個(gè)統(tǒng)一的分布式存儲(chǔ)系統(tǒng)，涉及初衷是提供較好的性能，可靠性和可擴(kuò)展性優(yōu)勢(shì)：高擴(kuò)展性： 使用普通x86服務(wù)器，支持10~1000臺(tái)服務(wù)器，支持TB到EB級(jí)別的擴(kuò)展高可靠性： 沒(méi)有單點(diǎn)故障，多數(shù)據(jù)副本，自動(dòng)管理，自動(dòng)修復(fù)高性能：數(shù)據(jù)分布均衡可用于對(duì)象存儲(chǔ)，塊設(shè)備存儲(chǔ)和文件系統(tǒng)存儲(chǔ)基礎(chǔ)存儲(chǔ)系統(tǒng)rados：基礎(chǔ)存儲(chǔ)系統(tǒng)RADOS（Reliable Autonomic,Distributed Object Store,即可靠的，自動(dòng)化的，分布式的對(duì)象存儲(chǔ)） 。所有存儲(chǔ)在Ceph系統(tǒng)中的用戶數(shù)據(jù)事實(shí)上最終都是由這一層來(lái)存儲(chǔ)的 。Ceph的高可靠，高擴(kuò)展性，高性能，高自動(dòng)化等等特性本質(zhì)上都是由這一層完成的基礎(chǔ)庫(kù)LIBEADOSlibrados：這一層的功能是對(duì)RADOS進(jìn)行抽象和封裝，并向上層提供API，以便于基于基礎(chǔ)DADOS（而不是整個(gè)Ceph）進(jìn)行應(yīng)用開(kāi)發(fā) 。特別注意的是是RAOCS是一個(gè)對(duì)象存儲(chǔ)，因此，librados實(shí)現(xiàn)的API也是針對(duì)對(duì)象存儲(chǔ)功能的 。高層應(yīng)用接口radosgw：對(duì)象網(wǎng)關(guān)接口（對(duì)象存儲(chǔ)）rdb：塊存儲(chǔ)cephfs： 文件系統(tǒng)存儲(chǔ)其作用是在librados庫(kù)的基礎(chǔ)上提供抽象層次更高，更便于應(yīng)用或客戶端使用的上層接口 。四、Ceph的基本組件如上圖，Ceph主要有三個(gè)基本進(jìn)程OSD用于集群中所有數(shù)據(jù)及對(duì)象的存儲(chǔ) 。處理數(shù)據(jù)的復(fù)制，恢復(fù)，回填，在均衡 。并向其他osd守護(hù)進(jìn)程發(fā)送心跳，然后想Mon發(fā)送一些信息 。當(dāng)Ceph存儲(chǔ)集群設(shè)定有兩個(gè)副本時(shí)（一共存兩份），則至少需要兩個(gè)OSD守護(hù)集成即兩個(gè)OSD節(jié)點(diǎn)，集群才能達(dá)到actice+clean狀態(tài)MDS（可選）為Ceph文件系統(tǒng)提供元數(shù)據(jù)計(jì)算，緩存與同步（也就是說(shuō)Ceph塊設(shè)備和Ceph對(duì)象存儲(chǔ)不需要MDS） 。在Ceph中，元數(shù)據(jù)也是存儲(chǔ)在osd節(jié)點(diǎn)中的 。mds類似于元數(shù)據(jù)的代理服務(wù)器 。MDS進(jìn)程并不是必須的，只有需要使用Cephfs時(shí)候，才需要配置MDS節(jié)點(diǎn) 。Monitor監(jiān)控整個(gè)集群的狀態(tài)，維護(hù)集群的cluster MAP二進(jìn)制表，保證集群數(shù)據(jù)的一致性 。ClusterMAP描述了對(duì)象塊存儲(chǔ)的物理位置，以及一個(gè)將設(shè)備聚合到物理位置的桶列表Manager（ceph-mgr）用于收集ceph集群狀態(tài)，運(yùn)行指標(biāo)，比如存儲(chǔ)利用率，當(dāng)前性能指標(biāo)，和系統(tǒng)負(fù)載 。對(duì)外提供ceph dashboard（ceph ui)和restful api 。Manage開(kāi)啟高可用時(shí)，至少2個(gè)Ceph結(jié)構(gòu)包含兩部分ceph client: 訪問(wèn)ceph底層服務(wù)或組件，對(duì)外提供各種接口 。對(duì)象存儲(chǔ)接口，塊存儲(chǔ)接口，文件級(jí)存儲(chǔ)接口ceph node：ceph底層服務(wù)提供端，也就是ceph存儲(chǔ)集群五、Ceph的工作原理無(wú)論使用哪種存儲(chǔ)方式（對(duì)象，塊，文件），存儲(chǔ)的數(shù)據(jù)都會(huì)被切割成對(duì)象（object），Object Size大小可以有管理員進(jìn)行調(diào)整，通常為2M或4M 。每個(gè)對(duì)象存儲(chǔ)都會(huì)有一個(gè)唯一的OID，由ino和ono生產(chǎn)，ino即是文件的File ID，用于在全局唯一標(biāo)識(shí)的一個(gè)文件，而ono則是分片的編號(hào) 。如一個(gè)文件FILE ID 為A，它被切割成兩個(gè)對(duì)象，一個(gè)對(duì)象編號(hào)為0，一個(gè)對(duì)象編號(hào)為1，那么這兩個(gè)文件的oid則為A0和A1 。OID的好處則是可以唯一標(biāo)識(shí)每個(gè)不通的對(duì)象，并且存儲(chǔ)了對(duì)象與文件的關(guān)系 。由于ceph的所有數(shù)據(jù)都虛擬成立整齊劃一的對(duì)象，所以在讀寫時(shí)效率都會(huì)比較高 。但是對(duì)象并不會(huì)直接存儲(chǔ)進(jìn)OSD中，因?yàn)閷?duì)象的size很小，在一個(gè)大規(guī)模的集群中可能有幾百到幾千萬(wàn)個(gè)對(duì)象 。這么多對(duì)象光是遍歷尋址，速度都是很緩慢的；并且如果將對(duì)象直接通過(guò)某種固定映射的哈希算法映射到osd上，當(dāng)這個(gè)osd損壞時(shí)，對(duì)象無(wú)法自動(dòng)遷移到其他osd上面（因?yàn)橛成浜瘮?shù)不允許），為了解決這些問(wèn)題，ceph引入了歸置組的概念，即PGPG是一個(gè)邏輯概念，我們linux系統(tǒng)中可以直接看到對(duì)象，但是無(wú)法直接看到PG 。他在數(shù)據(jù)尋址時(shí)類似于數(shù)據(jù)庫(kù)中的索引；每個(gè)對(duì)象都會(huì)固定映射進(jìn)一個(gè)PG中，所以當(dāng)我們要尋找一個(gè)對(duì)象時(shí)，只需要先找到這個(gè)對(duì)象所屬的PG，然后再遍歷這個(gè)PG就可以了，無(wú)需遍歷所有的對(duì)象 。而且在數(shù)據(jù)遷移時(shí)，也是以PG作為基本單位進(jìn)行遷移，ceph不會(huì)直接操作對(duì)象 。對(duì)象是如何映射到PG的？ 還記得OID么？ 首先使用靜態(tài)hash函數(shù)對(duì)OID做hash取出特征碼，用特征碼與PG的數(shù)量取模，得到的序號(hào)則是PGID 。由于這種設(shè)計(jì)方式，PG的數(shù)量多寡直接決定了數(shù)據(jù)分布的特性，所以合理設(shè)置PG數(shù)量可以很好的提升Ceph集群的性能并使數(shù)據(jù)均勻分布 。最后PG會(huì)根據(jù)管理員設(shè)置的副本數(shù)量進(jìn)行復(fù)制，然后通過(guò)crush算法存儲(chǔ)到不同的OSD節(jié)點(diǎn)上（其實(shí)就是把PG中的所有對(duì)象存儲(chǔ)到節(jié)點(diǎn)上），第一個(gè)OSD接地那即為主節(jié)點(diǎn)，其余均為從節(jié)點(diǎn) 。Ceph名詞介紹ceph核心組件及概念介紹


以上關(guān)于本文的內(nèi)容，僅作參考！溫馨提示：如遇健康、疾病相關(guān)的問(wèn)題，請(qǐng)您及時(shí)就醫(yī)或請(qǐng)專業(yè)人士給予相關(guān)指導(dǎo)!

「愛(ài)刨根生活網(wǎng)」www.malaban59.cn小編還為您精選了以下內(nèi)容，希望對(duì)您有所幫助：