LV SYSTEM » 11.QUI HOẠCH HỆ THỐNG » 14. CMC-Q7-HCM

Task #585

Cập nhật bởi Tùng Nguyễn cách đây 8 tháng

Mô tả: xảy ra tình trạng 1 vài repo bị mất khi restart lại pod gitaly 
 Qua kiểm tra hiện trạng, thì gitlab service trên cụm k8s prod hiện đang kết nối đến Postgre và Redis được tạo trước đó. 
 PostgreSQL: tạo theo statefulset với mode standalone  
 Redis: dạng statefulset với mode replication 
 ==== 
 18/3 
 Redis đang có 1 replica lỗi ko start được 
 ![](clipboard-202403181803-iblhr.png) 

 === 
 19/3 
 Lỗi trên do file AOF bị corrupted cần chạy redis-check-aof --fix 
 Do container không thể start nên phải thực hiện cài đặt redis-tools trên node k8s đang mount rbd volume đó 
 ![](clipboard-202403191746-psmc9.png) 
 Chạy command 
 ![](clipboard-202403191747-euhye.png) 

 Sau đó start lại pod, có thể sẽ xuất hiện lỗi "Found an empty aof manifest" 
 Từ Redis 7.0 thì cấu trúc AOF gồm 3 file 
 base.rdb 
 incr.aof 
 appendonly.aof.manifest 
 nội dung file appendonly.aof.manifest bị trống thì edit lại lưu ý seg ID như hình 
 ![](clipboard-202403191753-bmqn7.png) 
 ``` shell 
 file appendonly.aof.2510.base.rdb seq 2510 type b 
 file appendonly.aof.2510.incr.aof seq 2510 type i 
 ``` 
 Lưu lại và start lại pod 
 ![](clipboard-202403191758-qnwat.png) 



 

Quay lại