Dự án

Tổng quan

Hồ sơ

Actions
Copy link

Feature #150

đóng

Mục Tiêu #116: Qui Hoạch Site CMC-Tân Thuận-HCM

Feature #117: Triển khai Pool S3 CMC Tân Thuận

Enable compress cho cluster S3 CMC-Q7

Thêm bởi Ru Nguyễn cách đây khoảng 1 năm. Cập nhật cách đây 7 tháng.

Trạng thái:
Closed
Mức ưu tiên:
Normal
Phân công cho:
Thanh Tâm Nguyễn
Phiên bản:
LV SYSTEM - 0. Pending
Bắt đầu:
07-11-2023
Hết hạn:
Tiến độ:

0%

Thời gian ước lượng:

Mô tả

Yêu cầu: Enable compression trên data pool của S3
ceph osd pool set CMC-G1.rgw.buckets.data compression_algorithm snappy
ceph osd pool set CMC-G1.rgw.buckets.data compression_mode force

So sánh kết quả CPU trước và sau khi enable compress ( S3 gateway và các node)
Cách test: + Upload file lớn ( 500MB - 1GB)

Link kết quả:
https://docs.google.com/spreadsheets/d/1pGO0wn9Stg_3RKpjIpUq2nrsQEPRLeZl3n-8kdALJq0/edit#gid=0
https://docs.google.com/spreadsheets/d/1euil2yZ0S6TwR1ZOKru79nLmPWdUpGIAeUsTbe0SoKk/edit#gid=422264090

====
Phụ thuộc vào 2 giá trị sau
compression_max_blob_size
compression_min_blob_size

====
rgw_obj_stripe_size mặc định là 4M
sau khi upfile thì check số lượng compress_success

==========
ceph osd pool set CMC-G1.rgw.buckets.data compression_algorithm snappy
ceph osd pool set CMC-G1.rgw.buckets.data compression_mode aggressive
ceph osd pool set CMC-G1.rgw.buckets.data compression_max_blob_size 1073741824
ceph osd pool set CMC-G1.rgw.buckets.data compression_min_blob_size 1048576



ceph osd pool set CMC-G1.rgw.buckets.data compression_algorithm snappy
ceph osd pool set CMC-G1.rgw.buckets.data compression_mode force
ceph osd pool set CMC-G1.rgw.buckets.data compression_max_blob_size 1073741824
ceph osd pool set CMC-G1.rgw.buckets.data compression_min_blob_size 1048576



ceph osd pool set CMC-G1.rgw.buckets.data compression_algorithm snappy
ceph osd pool set CMC-G1.rgw.buckets.data compression_mode passive
ceph osd pool set CMC-G1.rgw.buckets.data compression_max_blob_size 1073741824
ceph osd pool set CMC-G1.rgw.buckets.data compression_min_blob_size 1048576



ceph osd pool set CMC-G1.rgw.buckets.data compression_algorithm snappy
ceph osd pool set CMC-G1.rgw.buckets.data compression_mode none
ceph osd pool set CMC-G1.rgw.buckets.data compression_max_blob_size 1073741824
ceph osd pool set CMC-G1.rgw.buckets.data compression_min_blob_size 1048576



ceph osd pool set CMC-G1.rgw.buckets.data compression_algorithm snappy
ceph osd pool set CMC-G1.rgw.buckets.data compression_mode none
ceph osd pool set CMC-G1.rgw.buckets.data compression_max_blob_size 0
ceph osd pool set CMC-G1.rgw.buckets.data compression_min_blob_size 0



====
12/12/2023
compression_max_blob_size 4194304
compression_min_blob_size 4096

Test upload file 994MB đang gặp tình trạng sau:
Test lần 1: compressed còn 747MB -> chưa load đầy đủ object
Test lần 2: compressed còn 885 MB

Test lần 3: không compressed

20/12/2023

lượng data compressed chưa đáng kể, cần test kỹ thêm

Tập tin

Download all files
clipboard-202311211146-5aqr0.png (6,01 KB) clipboard-202311211146-5aqr0.png Tùng Nguyễn, 21-11-2023 11:46
clipboard-202311211802-zmaqn.png (6,06 KB) clipboard-202311211802-zmaqn.png Tùng Nguyễn, 21-11-2023 18:02
clipboard-202312040855-coesv.png (242 KB) clipboard-202312040855-coesv.png Bùi Khắc Nghĩa, 04-12-2023 08:56
clipboard-202312040855-imziu.png (242 KB) clipboard-202312040855-imziu.png Bùi Khắc Nghĩa, 04-12-2023 08:56
clipboard-202312040855-hq6k1.png (242 KB) clipboard-202312040855-hq6k1.png Bùi Khắc Nghĩa, 04-12-2023 08:56
clipboard-202312040901-b9q5q.png (203 KB) clipboard-202312040901-b9q5q.png Bùi Khắc Nghĩa, 04-12-2023 09:02
clipboard-202312040918-8ojzj.png (242 KB) clipboard-202312040918-8ojzj.png Bùi Khắc Nghĩa, 04-12-2023 09:20
clipboard-202312040919-otkg8.png (235 KB) clipboard-202312040919-otkg8.png Bùi Khắc Nghĩa, 04-12-2023 09:20
clipboard-202312040919-0yatv.png (201 KB) clipboard-202312040919-0yatv.png Bùi Khắc Nghĩa, 04-12-2023 09:20
clipboard-202312040930-esmlh.png (205 KB) clipboard-202312040930-esmlh.png Bùi Khắc Nghĩa, 04-12-2023 09:32
clipboard-202312040931-ouapq.png (213 KB) clipboard-202312040931-ouapq.png Bùi Khắc Nghĩa, 04-12-2023 09:32
clipboard-202312040936-iww3f.png (24,4 KB) clipboard-202312040936-iww3f.png Bùi Khắc Nghĩa, 04-12-2023 09:37
clipboard-202312040936-vnpiw.png (23,5 KB) clipboard-202312040936-vnpiw.png Bùi Khắc Nghĩa, 04-12-2023 09:37
clipboard-202312040936-vlell.png (24 KB) clipboard-202312040936-vlell.png Bùi Khắc Nghĩa, 04-12-2023 09:37
clipboard-202312040943-8dkcz.png (223 KB) clipboard-202312040943-8dkcz.png Bùi Khắc Nghĩa, 04-12-2023 09:44
clipboard-202312040944-zsrai.png (207 KB) clipboard-202312040944-zsrai.png Bùi Khắc Nghĩa, 04-12-2023 09:45
clipboard-202312040950-i1uj3.png (22,9 KB) clipboard-202312040950-i1uj3.png Bùi Khắc Nghĩa, 04-12-2023 09:51
clipboard-202312041010-yb1vt.png (225 KB) clipboard-202312041010-yb1vt.png Bùi Khắc Nghĩa, 04-12-2023 10:11
clipboard-202312041011-tqcbb.png (207 KB) clipboard-202312041011-tqcbb.png Bùi Khắc Nghĩa, 04-12-2023 10:12
clipboard-202312041014-wlbov.png (24 KB) clipboard-202312041014-wlbov.png Bùi Khắc Nghĩa, 04-12-2023 10:15
clipboard-202312200856-fwnsv.png (80,2 KB) clipboard-202312200856-fwnsv.png Tùng Nguyễn, 20-12-2023 08:56
Actions
Copy link
 #1

Cập nhật bởi Ru Nguyễn cách đây khoảng 1 năm

  • Tác vụ cha gán cho #117
Actions
Copy link
 #2

Cập nhật bởi Ru Nguyễn cách đây khoảng 1 năm

  • Phiên bản gán cho 6
Actions
Copy link
 #3

Cập nhật bởi Tùng Nguyễn cách đây khoảng 1 năm

  • Mô tả cập nhật (Sự khác nhau)
  • Trạng thái thay đổi từ New tới Closed
Actions
Copy link
 #4

Cập nhật bởi Ru Nguyễn cách đây khoảng 1 năm

Actions
Copy link
 #5

Cập nhật bởi Ru Nguyễn cách đây khoảng 1 năm

  • Hết hạn gán cho 14-11-2023
Actions
Copy link
 #6

Cập nhật bởi Tùng Nguyễn cách đây khoảng 1 năm

  • Kiểu vấn đề thay đổi từ Feature tới Task
  • Trạng thái thay đổi từ Closed tới Pending
Actions
Copy link
 #7

Cập nhật bởi Tùng Nguyễn cách đây khoảng 1 năm

  • Kiểu vấn đề thay đổi từ Task tới Feature
  • Hết hạn thay đổi từ 14-11-2023 tới 16-11-2023
  • Trạng thái thay đổi từ Pending tới In Progress
  • Phiên bản thay đổi từ 6 tới 5
Actions
Copy link
 #8

Cập nhật bởi Ru Nguyễn cách đây khoảng 1 năm

  • Phiên bản gán cho 5
Actions
Copy link
 #9

Cập nhật bởi Ru Nguyễn cách đây khoảng 1 năm

  • Phiên bản thay đổi từ 5 tới 2. 13/11 - 17/11/2023
Actions
Copy link
 #10

Cập nhật bởi Tùng Nguyễn cách đây khoảng 1 năm

Actions
Copy link
 #11

Cập nhật bởi Tùng Nguyễn cách đây khoảng 1 năm


Số lượng data được compress chưa nhiều, cần điều chỉnh thêm max-min size

Actions
Copy link
 #12

Cập nhật bởi Tùng Nguyễn cách đây khoảng 1 năm

  • Hết hạn thay đổi từ 16-11-2023 tới 30-11-2023
  • Phân công cho thay đổi từ Tùng Nguyễn tới Bùi Khắc Nghĩa
Actions
Copy link
 #13

Cập nhật bởi Tùng Nguyễn cách đây khoảng 1 năm

Actions
Copy link
 #14

Cập nhật bởi Tùng Nguyễn cách đây khoảng 1 năm

Actions
Copy link Download all files
 #15

Cập nhật bởi Bùi Khắc Nghĩa cách đây 12 tháng

Actions
Copy link
 #16

Cập nhật bởi Bùi Khắc Nghĩa cách đây 12 tháng

Actions
Copy link Download all files
 #17

Cập nhật bởi Bùi Khắc Nghĩa cách đây 12 tháng

Actions
Copy link Download all files
 #19

Cập nhật bởi Bùi Khắc Nghĩa cách đây 12 tháng

Actions
Copy link Download all files
 #20

Cập nhật bởi Bùi Khắc Nghĩa cách đây 12 tháng

Actions
Copy link
 #21

Cập nhật bởi Tùng Nguyễn cách đây 12 tháng

Actions
Copy link
 #22

Cập nhật bởi Tùng Nguyễn cách đây 12 tháng

  • Mô tả cập nhật (Sự khác nhau)
  • Hết hạn thay đổi từ 30-11-2023 tới 15-12-2023
Actions
Copy link
 #23

Cập nhật bởi Tùng Nguyễn cách đây 11 tháng

Actions
Copy link
 #24

Cập nhật bởi Ru Nguyễn cách đây 10 tháng

  • Phiên bản thay đổi từ 2. 13/11 - 17/11/2023 tới 0. Pending
Actions
Copy link
 #25

Cập nhật bởi Ru Nguyễn cách đây 9 tháng

  • Hết hạn xóa (15-12-2023)
Actions
Copy link
 #26

Cập nhật bởi Ru Nguyễn cách đây 7 tháng

  • Phân công cho thay đổi từ Bùi Khắc Nghĩa tới Thanh Tâm Nguyễn

Chuyển từ task của Nghĩa sang.

Actions
Copy link
 #27

Cập nhật bởi Tùng Nguyễn cách đây 7 tháng

  • Trạng thái thay đổi từ In Progress tới Closed
Actions
Copy link

Định dạng khác của trang này: Atom PDF