David Česal

Architektura:

• Používat 10 GbE.
• Používat oddělenou síť pro komunikaci nodů
• 2-node cluster je málo
• Používat RBD cache
• Virsh (QEMU) přímo podporuje RBD jako storage pro VM

Ceph OSD – ukládání souborů

• Lepší mít tenké nody (méně disků) -> rychlejší recovery
• SSD pro journal (cache) – zrychlení zápisu (Intel P3700…)
• 1 OSD daemon pro každý 1 disk
• Velikost disku v TB*počet disků => GB RAM
  • 16x 2 TB disk => 16 daemons, 32 GB RAM
  • 4x 2 TB disk => 4 daemons, 8 GB RAM
• Počet disků (= počet deamons) => počet jader CPU

Ceph Monitor

• ukládá logy v případě výpadku OSD; čím déle je OSD nedostupný, tím více místa je potřeba
• velikost disků: 10 GB per daemon (OSD daemon)
• RAM: 1 GB per daemon (OSD daemon)

# Ceph OSD ( Object Storage Daemons ) storage data in objects , manages data replication , recovery , rebalancing and provides stage information to Ceph Monitor. Its recommended to user 1 OSD per physical disk.

# Ceph MON ( Monitors ) maintains overall health of cluster by keeping cluster map state including Monitor map , OSD map , Placement Group ( PG ) map , and CRUSH map. Monitors receives state information from other components to maintain maps and circulate these maps to other Monitor and OSD nodes.

# Ceph RGW ( Object Gateway / Rados Gateway ) RESTful API interface compatible with Amazon S3 , OpenStack Swift .

# Ceph RBD ( Raw Block Device ) Provides Block Storage to VM / bare metal as well as regular clients , supports OpenStack and CloudStack . Includes Enterprise features like snapshot , thin provisioning , compression.

# CephFS ( File System ) distributed POSIX NAS storage.

2 pooly (třeba 1 pro HDD a druhý pro SSDčka):

CEPH: SATA and SSD pools on the same server without editing crushmap

Odkazy:

My adventures with Ceph Storage. Part 3: Design the nodes

Zero To Hero Guide : : For CEPH CLUSTER PLANNING

http://docs.ceph.com/docs/master/start/hardware-recommendations/

http://www.sebastien-han.fr/blog/2014/10/10/ceph-how-to-test-if-your-ssd-is-suitable-as-a-journal-device/

https://pve.proxmox.com/wiki/Ceph_Server#Recommended_hardware