Task #617
Cập nhật bởi Ru Nguyễn cách đây khoảng 1 năm
Hiện trạng: Storage đang thiếu dung lượng cho Backup Mail và Backup Core pool FPT-HCM
Mục tiêu: bổ sung dung lượng cho các pool
Chuẩn bị thiết bị:
3 Server Quanta D51PH-ULH
- 128G RAM DDR4
- CPU E5 2690v3
- Mỗi server 4 disk HDD 12T
Cluster info: https://docs.google.com/spreadsheets/d/1euil2yZ0S6TwR1ZOKru79nLmPWdUpGIAeUsTbe0SoKk/edit#gid=361178597
===
Thao tác:
- Rút Server Horsea U43-44 rack G10
- Lắp 3 server Quanta
- Join Cluster
- Set config: "ceph config set osd osd_crush_initial_weight 0 --force" mục đích các osd mới add vào cluster sẽ không resync data tránh ảnh hưởng performance
- Add OSD trên 3 Server mới
- Tăng dần weight: "ceph osd crush reweight osd.<id> <value>" tăng ko quá 0.001 mỗi lần ( tham khảo để đánh giá mức độ tác động và thời gian rebalance dữ liệu, nếu tác động ít thỉ sẽ tăng dần weight ở mỗi lần tăng sau).
Rủi ro khi mix các OSD có dung lượng khác nhau: bị chậm hoặc thắt cỗ chai ở các node có OSD lớn được bổ sung sau.
Phương án:
+ Tối ưu nhất: do đang cấu hình rule replicate theo host, nên cần đảm bảo tổng dung lượng các node có disk 8T bằng tổng dung lượng có disk 12T. Sau khi mở rộng và move dữ liệu backup và S3 cũ sang, các disk 8T sẽ được cắm thêm vào các node có OSD 8T.
+ Cấu hình Primary OSD cho các OSD 8T, khi số lượng node 12T và OSD 12 >= node và OSD 8T thì có thể chuyển các OSD 12 thành primary.