Giải mã EWQ & FastEWQ: Lượng tử hóa LLM "thông minh" hơn, nhẹ hơn mà không cần hy sinh hiệu suất

Các mô hình ngôn ngữ lớn (LLM) đang cách mạng hóa cách chúng ta tương tác với công nghệ, nhưng kích thước khổng lồ và yêu cầu tính toán nặng nề của chúng là một rào cản lớn cho việc triển khai rộng rãi, đặc biệt trên các thiết bị có tài nguyên hạn chế. Một bài báo gần đây có tiêu đề "Universality of Layer-Level Entropy-Weighted Quantization Beyond Model Architecture and Size" của Alireza Behtash và các cộng sự tại webAl đã giới thiệu một phương pháp tiếp cận mới đầy hứa hẹn: Entropy-Weighted Quantization (EWQ) và phiên bản tối ưu hóa FastEWQ.

Hãy cùng khám phá cách những kỹ thuật này hoạt động và tại sao chúng lại quan trọng.

Vì sao mình hứng thú với bài báo này

Vấn đề cốt lõi: LLM "béo phì" và "ngốn" tài nguyên. Việc triển khai LLM, đặc biệt là các mô hình có hàng tỷ tham số (ví dụ: 7B đến 70B), đòi hỏi một lượng lớn bộ nhớ (14-140GB ở độ chính xác đầy đủ) và sức mạnh tính toán. Điều này gây khó khăn cho việc triển khai ngay cả trong các trung tâm dữ liệu lớn, chứ chưa nói đến thiết bị người dùng cuối.

Khi triển khai LLM lên laptop, hay thậm chí GPU 8 GB, mình luôn phải vật lộn giữa hiệu năng và dung lượng. Các kỹ thuật lượng tử hóa (quantization) truyền thống thường giảm độ chính xác của tất cả các tham số một cách đồng đều (uniform quantization) hoặc yêu cầu phân tích phức tạp, tốn kém để xác định độ chính xác hỗn hợp (mixed-precision) cho từng phần. Lượng tử hóa đồng đều thường dẫn đến suy giảm hiệu suất đáng kể, trong khi các phương pháp hỗn hợp thường phụ thuộc vào kiến trúc cụ thể hoặc cần truy cập toàn bộ trọng số mô hình.

Bài báo đặt ra một câu hỏi quan trọng: Liệu có thể phát triển một phương pháp lượng tử hóa chỉ trọng số (weight-only), hậu huấn luyện (post-training), độc lập kiến trúc, tối ưu, có thể tạo ra mô hình lượng tử hóa "on-the-fly" (độ phức tạp O(1)) mà vẫn cạnh tranh với mô hình gốc về hiệu suất, đồng thời mang lại tốc độ suy luận nhanh và hiệu quả bộ nhớ không?

Câu trả lời mà nhóm tác giả đưa ra là: Có, với EWQ và FastEWQ.

EWQ: Lượng tử hóa dựa trên Entropy - "Biết người biết ta"

Ý tưởng cốt lõi của EWQ là không phải tất cả các khối (block) trong một transformer đều quan trọng như nhau đối với hiệu suất của mô hình. Một số khối có thể được lượng tử hóa mạnh hơn (giảm độ chính xác nhiều hơn) mà ít ảnh hưởng đến kết quả cuối cùng.

EWQ hoạt động như thế nào?

1. Phân tích Entropy của từng Khối:

   • Với mỗi khối transformer, EWQ tính toán entropy của các ma trận trọng số bên trong. Entropy ở đây được hiểu là một thước đo về sự "phức tạp" hoặc "lượng thông tin" chứa trong trọng số.
   • Các trọng số được làm phẳng (flatten), chuẩn hóa bằng softmax để tạo phân phối xác suất, sau đó tính entropy Shannon.
   • Entropy của một khối được tính bằng trung bình có trọng số (theo kích thước ma trận) của entropy các ma trận trọng số thành phần.

2. Tiêu chí lựa chọn khối để Lượng tử hóa:

   • Các khối được sắp xếp theo thứ tự entropy tăng dần.
   • Tính toán giá trị trung bình (μH) và độ lệch chuẩn (σH) của entropy các khối.
   • Một ngưỡng entropy T = μH - X * σH được xác định (trong đó X là một siêu tham số, mặc định là 1).
   • Quyết định lượng tử hóa:
     • Khối có H_block ≤ T: Được lượng tử hóa mạnh (ví dụ: 4-bit hoặc 1.58-bit). Đây là những khối có entropy thấp, ít thông tin, ít nhạy cảm với việc giảm độ chính xác.
     • Khối có T < H_block < μH: Được lượng tử hóa vừa phải (ví dụ: 8-bit).
     • Khối có H_block ≥ μH: Được giữ nguyên độ chính xác (unquantized). Đây là những khối có entropy cao, chứa nhiều thông tin quan trọng.

3. Phân phối tối ưu trong cụm triển khai (Algorithm 1):

   • Sau khi có quyết định lượng tử hóa ban đầu, thuật toán sẽ kiểm tra xem kích thước mô hình đã lượng tử hóa có phù hợp với tài nguyên có sẵn trong cụm (cluster) hay không.
   • Nếu còn dư tài nguyên, thuật toán sẽ ưu tiên "thăng cấp" các khối có entropy cao nhất trong số các khối đã bị lượng tử hóa lên độ chính xác cao hơn (ví dụ: từ 4-bit lên 8-bit, hoặc từ 8-bit lên unquantized).
   • Nếu thiếu tài nguyên, thuật toán sẽ "giáng cấp" các khối có entropy thấp nhất xuống độ chính xác thấp hơn nữa (ví dụ: xuống 1.58-bit).

Kết quả đáng chú ý của EWQ:

• Duy trì độ chính xác MMLU (Massive Multitask Language Understanding) chỉ trong vòng 0.5% so với mô hình chưa lượng tử hóa.
• Giảm tới 18% dung lượng bộ nhớ.
• Một phát hiện bất ngờ: EWQ có thể giảm perplexity so với mô hình gốc. Điều này cho thấy việc giảm độ chính xác có chọn lọc có thể hoạt động như một hình thức có lợi của regularization.

FastEWQ: Tốc độ là Vua - Lượng tử hóa "chớp nhoáng"

Mặc dù EWQ hiệu quả, nó vẫn đòi hỏi phải tải và phân tích toàn bộ trọng số mô hình để tính toán entropy, điều này có thể tốn thời gian, đặc biệt với các mô hình lớn. Đây là lúc FastEWQ xuất hiện.

FastEWQ hoạt động như thế nào?

1. Mô hình Học máy Dự đoán:

   • Thay vì tính toán entropy trực tiếp, FastEWQ sử dụng một mô hình học máy (ví dụ: Random Forest) đã được huấn luyện trước để dự đoán xem một khối transformer có nên được lượng tử hóa hay không.
   • Đặc trưng đầu vào (features):
     • num_parameters: Số lượng tham số trong khối.
     • exec_index: Vị trí tương đối của khối trong kiến trúc LLM (thứ tự thực thi).
     • num_blocks: Tổng số khối transformer trong LLM.
   • Đầu ra: Một phân loại nhị phân (1: nên lượng tử hóa, 0: không nên).

2. Huấn luyện Mô hình:

   • Nhóm tác giả đã tạo một bộ dữ liệu gồm 700 mẫu từ nhiều kiến trúc LLM khác nhau (Qwen2, DeepSeek, Gemma, LLaMA 3.x, Phi-3, StableLM). Với mỗi khối, họ thực hiện phân tích EWQ đầy đủ để gán nhãn "quantized" (1 hoặc 0).
   • Phân tích tầm quan trọng của đặc trưng cho thấy exec_index là yếu tố quan trọng nhất (66.4%), tiếp theo là num_parameters (19.0%) và num_blocks (14.6%). Điều này có nghĩa là vị trí của một khối trong kiến trúc đóng vai trò then chốt.

3. Thuật toán tối ưu hóa FastEWQ (Algorithm 2):

   • Sử dụng bộ phân loại Random Forest đã huấn luyện để chọn các khối cần lượng tử hóa.
   • Ban đầu, các khối được chọn sẽ được gán lượng tử hóa 8-bit.
   • Sau đó, tương tự như EWQ, thuật toán sẽ điều chỉnh mức độ lượng tử hóa (thăng cấp lên unquantized hoặc giáng cấp xuống 4-bit/1.58-bit) dựa trên tài nguyên cụm có sẵn và exec_index của khối (ưu tiên giữ độ chính xác cho các khối ở đầu, lượng tử hóa mạnh hơn các khối ở cuối).

Ưu điểm vượt trội của FastEWQ:

• Tốc độ O(1): Quyết định lượng tử hóa gần như tức thời vì chỉ cần thông tin meta của kiến trúc, không cần tải trọng số.
• Độ chính xác phân loại 80%: Bộ phân loại (Random Forest) đạt độ chính xác 80% trong việc xác định các khối nên/không nên lượng tử hóa so với phương pháp EWQ đầy đủ.
• Hiệu suất tương đương EWQ: Duy trì hiệu suất MMLU và perplexity rất gần với EWQ, thậm chí đôi khi còn tốt hơn do khả năng khái quát hóa của mô hình học máy.

Thử nghiệm và Kết quả

Nhóm tác giả đã thử nghiệm EWQ và FastEWQ trên các mô hình phổ biến như Meta-Llama-3.1-8B, Qwen2-7B, gemma-2-9B, và Phi-3.5-mini, sử dụng benchmark MMLU.

• EWQ: Liên tục cho thấy khả năng duy trì độ chính xác cao trong khi giảm đáng kể kích thước mô hình. Ví dụ, với Llama-3.1-8B, EWQ (4bit/8bit mixed) giảm perplexity từ 2.2379 xuống 2.2305 (tốt hơn) và giảm kích thước khối transformer từ 16.07GB xuống 13.02GB.
• FastEWQ:
  • Khi so sánh phiên bản FastEWQ được huấn luyện trên 70% dữ liệu ("fast train") với phiên bản huấn luyện trên toàn bộ dữ liệu ("fast"), không có sự khác biệt đáng kể về mặt thống kê (sử dụng t-test và Cohen's d). Điều này cho thấy khả năng khái quát hóa tốt của bộ phân loại.
  • Với Llama-3.1-8B, FastEWQ (fast train, 4bit/8bit mixed) đạt perplexity 2.2325 (thấp hơn cả EWQ gốc và mô hình raw) và kích thước khối 13.13GB.
  • Với gemma-2-9b, FastEWQ (fast train, 4bit/8bit mixed) đạt perplexity 4.2561 và giảm kích thước khối xuống 14.68GB (so với 18.41GB của mô hình raw).
  • Đặc biệt, FastEWQ (subset trained) thường mang lại sự cân bằng tối ưu giữa độ chính xác, perplexity, kích thước mô hình và thời gian phân tích.

Tại sao điều này lại quan trọng?

EWQ và đặc biệt là FastEWQ mở ra những khả năng mới cho việc triển khai LLM:

1. Tính phổ quát: Chúng hoạt động hiệu quả trên nhiều kiến trúc và kích thước mô hình khác nhau mà không cần điều chỉnh phức tạp.
2. Hiệu quả "On-the-fly": FastEWQ cho phép đưa ra quyết định lượng tử hóa gần như ngay lập tức, lý tưởng cho các môi trường triển khai động.
3. Cải thiện Perplexity: Khả năng giảm perplexity thông qua lượng tử hóa có chọn lọc là một lợi ích bất ngờ và đáng giá.
4. Triển khai trên thiết bị hạn chế: Giảm đáng kể yêu cầu bộ nhớ giúp LLM có thể chạy trên các thiết bị có RAM 16GB hoặc thậm chí thấp hơn.
5. Tiết kiệm chi phí: Giảm tài nguyên tính toán và bộ nhớ đồng nghĩa với việc giảm chi phí vận hành.

Hạn chế và Hướng phát triển tương lai

Mặc dù đầy hứa hẹn, FastEWQ vẫn có một số hạn chế so với EWQ truyền thống là nó không cung cấp mức độ ưu tiên chi tiết cho từng khối hoặc khuyến nghị loại lượng tử hóa chính xác, mà chủ yếu hoạt động như một bộ phân loại nhị phân.

Các hướng phát triển tương lai bao gồm:

• Mở rộng nguyên lý EWQ cho các kiến trúc không phải transformer (ví dụ: SSM, RWKV) và mô hình đa phương thức.
• Khám phá các giới hạn lượng tử hóa thấp hơn nữa (sub-4-bit) kết hợp với tỉa thưa (sparsity) dựa trên entropy.
• Tích hợp EWQ với các công nghệ bộ nhớ mới (HBM3, CXL) và tối ưu hóa ở cấp độ kernel.

Kết luận

Entropy-Weighted Quantization (EWQ) và FastEWQ là những bước tiến đáng kể trong lĩnh vực nén mô hình LLM. Bằng cách phân tích thông minh sự phân bổ entropy giữa các khối transformer, chúng cho phép giảm độ chính xác một cách có chọn lọc, duy trì hiệu suất cao trong khi giảm đáng kể yêu cầu bộ nhớ và tính toán. FastEWQ, với khả năng đưa ra quyết định lượng tử hóa O(1) mà không cần tải trọng số, đặc biệt hứa hẹn cho việc triển khai LLM hiệu quả và linh hoạt trong tương lai.

Đây chắc chắn là một hướng nghiên cứu đáng theo dõi cho bất kỳ ai quan tâm đến việc tối ưu hóa và triển khai LLM.

Để tìm hiểu sâu hơn, bạn có thể tham khảo bài báo gốc: arXiv:2503.04704v2