Task #617
Cập nhật bởi Tùng Nguyễn cách đây khoảng 1 năm
Hiện trạng: Storage đang thiếu dung lượng cho Backup Mail và Backup Core pool FPT-HCM  Mục tiêu: bổ sung dung lượng cho các pool Chuẩn bị thiết bị: 3 Server Quanta D51PH-ULH - 128G RAM DDR4 - CPU E5 2690v3 - Mỗi server 4 disk HDD 12T Cluster info: https://docs.google.com/spreadsheets/d/1euil2yZ0S6TwR1ZOKru79nLmPWdUpGIAeUsTbe0SoKk/edit#gid=361178597 === Thao tác: - Rút Server Horsea U43-44 rack G10 - Lắp 3 server Quanta - Join Cluster - Set config: "ceph config set osd osd_crush_initial_weight 0 --force" mục đích các osd mới add vào cluster sẽ không resync data tránh ảnh hưởng performance, do mặc định performance - Add OSD trên 3 Server mới - Tăng dần weight: "ceph osd crush rule đang lấy device class hdd reweight osd.<id> <value>" tăng ko quá 0.001 mỗi lần ( tham khảo để đánh giá mức độ tác động và thời gian rebalance dữ liệu, nếu tác động ít thỉ sẽ tăng dần weight ở mỗi lần tăng sau). === Rủi ro khi mix các OSD có dung lượng khác nhau: bị chậm hoặc thắt cỗ chai ở các node có OSD lớn được bổ sung sau. Phương án: - Tạo 1 placement target "disk-12t" mới ứng với + Tối ưu nhất: do đang cấu hình rule replicate theo host, nên cần đảm bảo tổng dung lượng các pool data sử dụng node có disk 12T Link user flow: https://app.diagrams.net/#G1L4V0msGLItFNqP_OtAcqP9sH6ZiY-eIA#%7B%22pageId%22%3A%22Eax0TifQvEj49udx9qOt%22%7D - Tạo User 8T bằng tổng dung lượng có disk 12T. Sau khi mở rộng và move dữ liệu backup và S3 mới ứng với placement target này - Add zone=CMC-G1 vào placement target - Restart lại service S3 GW Ưu điểm: - Không resync data, tách biệt với pool data cũ - Thời gian Downtime S3 GW thấp do chỉ restart lại service S3 Hạn chế: - Bộ phận Code sang, các disk 8T sẽ cần được cắm thêm --placement-id vào các node có OSD 8T. + Cấu hình Primary OSD cho các OSD 8T, khi tạo User mới số lượng node 12T và OSD 12 >= node và OSD 8T thì có thể chuyển các OSD 12 thành primary.