Mô tả: xảy ra tình trạng 1 vài repo bị mất khi restart lại pod gitaly
Qua kiểm tra hiện trạng, thì gitlab service trên cụm k8s prod hiện đang kết nối đến Postgre và Redis được tạo trước đó.
PostgreSQL: tạo theo statefulset với mode standalone

Redis: dạng statefulset với mode replication¶

18/3
Redis đang có 1 replica lỗi ko start được

===
19/3
Lỗi trên do file AOF bị corrupted cần chạy redis-check-aof --fix
Do container không thể start nên phải thực hiện cài đặt redis-tools trên node k8s đang mount rbd volume đó

Chạy command

Sau đó start lại pod, có thể sẽ xuất hiện lỗi "Found an empty aof manifest"
Từ Redis 7.0 thì cấu trúc AOF gồm 3 file
base.rdb
incr.aof
appendonly.aof.manifest
nội dung file appendonly.aof.manifest bị trống thì edit lại lưu ý seg ID như hình

file appendonly.aof.2510.base.rdb seq 2510 type b
file appendonly.aof.2510.incr.aof seq 2510 type i

Lưu lại và start lại pod