Task #1409
Cập nhật bởi Thanh Tâm Nguyễn cách đây khoảng 1 tháng
Hiện trạng: node hyve-prox3 cho 2 disk nvme bị rớt làm used của các osd nvme trong cluster trong ngưỡng không an toàn. Chỉ còn 3 disk còn nhận trên node  Nguyên nhân: Khả năng do PCIe/nvme disk bị nóng làm rớt disk  Mục tiêu: - Thay thế PCIe có disk tương ứng - Bổ sung thêm OSD NVMe khác đảm bảo free space an toàn Yêu cầu: - Không ảnh hưởng đến các dịch vụ đang chạy: không bị fencing auto reboot, đụng chạm các server kế cận - Có Server thay thế nếu server hyve-prox3 lỗi boot: đúng dòng CPU, slot disk nvme/ssd, RAM ============== **Thực hiện:** Thực trạng cluster:  - 1 OSD nearfull (sắp đầy dung lượng). - 2 pools nearfull (cảnh báo dung lượng lưu trữ của pool). - Có 36 PG remapped và đang chờ backfill và đang thực hiện backfilling. - 31 TiB còn trống (trên tổng 98 TiB). Chuẩn bị: - Server Hyve Stresstest nhận đủ tài nguyên - PCI + 2 Disk NVME 2TB để cắm bổ sung cho node hyve-prox3 Bổ sung PCIe + NVMe trước hay sau khi thao tác (hyve-prox3) - Bổ sung thêm nvme trong lúc kiểm tra 2 OSD lỗi Thực hiện: - Migrate VM sang các host khác - Maintenance Ceph - OFF host kiểm tra PCI và NVME - Cắm bổ sung NVME Rủi ro: - Mất dữ liệu hoặc giảm hiệu suất cluster nếu thao tác không đúng. - Gặp lỗi khi migrate VM (nếu cluster thiếu tài nguyên). - Phần cứng mới (PCIe + NVMe) không tương thích hoặc gây lỗi khi thêm vào Hướng xử lý: - Dự phòng tài nguyên cluster trước khi di chuyển VM. - Kiểm tra phần cứng (PCIe + NVMe) bằng stress test riêng trước khi cắm vào cluster. - Trong quá trình thao tác: theo dõi log Ceph bằng ceph -s và ceph osd tree.