Những đột phá mới nhất trong Machine Learning (29/07 - 04/08/2024)

Lưu ý: Đây là một bài dịch từ bài viết của DAIR.AI đăng hằng tuần trên LinkedIn. Link của DAIR.A Itrên LinkedIn: https://www.linkedin.com/company/dair-ai/

1. Meta-Rewarding LLMs

Tóm tắt:

• Giới thiệu một kỹ thuật tự cải thiện sự căn chỉnh cho LLM mà không cần giám sát con người.
• LLM tự đánh giá các quyết định của mình và sử dụng phản hồi để cải thiện kỹ năng đánh giá.
• Phương pháp này giúp LLM tốt hơn trong việc đánh giá và tuân theo các hướng dẫn.

• Tự cải thiện để tạo ra các phản hồi tốt hơn (act) sẽ nhanh chóng bão hòa.
• Công việc này cải thiện khả năng tự đánh giá của LLM (judge) để tránh các vấn đề như hack phần thưởng.
• Ngoài vai trò act và judge, một vai trò thứ ba gọi là meta-judge được sử dụng để đánh giá các quyết định của mô hình.

(paper | tweet)

2. MindSearch

Tóm tắt:

• Trình bày một khung làm việc dựa trên LLM với nhiều tác nhân để thực hiện các tác vụ tìm kiếm và tích hợp thông tin trên web phức tạp.
• Một bộ lập kế hoạch web phân giải các truy vấn phức tạp, sau đó là một bộ tìm kiếm web thực hiện việc trích xuất thông tin theo cấp bậc trên Internet để cải thiện độ liên quan của thông tin được trích xuất.
• Thành phần lập kế hoạch được cung cấp bởi việc xây dựng đồ thị theo từng bước, được sử dụng để mô hình hóa tốt hơn các quá trình giải quyết vấn đề phức tạp.

• Khung làm việc đa tác nhân xử lý tốt hơn các vấn đề ngữ cảnh dài bằng cách phân phối các tác vụ suy luận và truy xuất đến các tác nhân chuyên biệt.

(paper | tweet)

3. Improved RAG with Self-Reasoning

Tóm tắt:

• Trình bày một khung làm việc tự suy luận từ đầu đến cuối để cải thiện độ tin cậy và khả năng theo dõi của các hệ thống RAG.
• Sử dụng các đường lối suy luận được tạo ra bởi chính LLM.
• LLM được sử dụng để thực hiện 3 quá trình: 1) đánh giá độ liên quan giữa các tài liệu được trích xuất và câu hỏi, 2) chọn lọc và trích dẫn các tài liệu liên quan, sau đó tự động chọn các đoạn văn bản câu chính như bằng chứng từ các tài liệu được trích dẫn, và 3) phân tích đường lối, tạo ra một phân tích ngắn gọn dựa trên tất cả các đường lối suy luận tự động được tạo ra bởi hai quá trình trước và sau đó cung cấp câu trả lời cuối cùng được suy ra.

• Phương pháp này giúp mô hình trở nên chọn lọc hơn, suy luận và phân biệt các tài liệu liên quan và không liên quan, do đó cải thiện độ chính xác của toàn bộ hệ thống RAG.
• Khung làm việc đạt được hiệu suất ngang bằng với GPT-4 với chỉ 2K mẫu huấn luyện (do GPT-4 tạo ra).

(paper | tweet)

4. Constrained-CoT

Tóm tắt:

• Giới hạn độ dài đầu ra suy luận của mô hình mà không làm giảm hiệu suất.
• Chứng minh rằng việc hạn chế suy luận của LLaMA2-70b xuống còn 100 từ cải thiện độ chính xác từ 36.01% (CoT) lên 41.07% (CCoT) trên GSM8K, đồng thời giảm độ dài đầu ra trung bình xuống 28 từ.

(paper | tweet)

5. Adaptive RAG for Conversations Sytems

Tóm tắt:

• Phát triển một mô hình gating dự đoán xem hệ thống trò chuyện có cần RAG để cải thiện các câu trả lời của nó hay không.
• Chứng minh rằng các hệ thống trò chuyện dựa trên RAG có tiềm năng tạo ra các câu trả lời chất lượng cao và độ tin tưởng cao.

• Nó cũng khẳng định việc xác định một mối tương quan giữa mức độ tin tưởng của việc tạo ra và độ liên quan của kiến thức được bổ sung.

(paper | tweet)

6. ShieldGemma

Tóm tắt:

• Cung cấp một bộ công cụ toàn diện các mô hình kiểm duyệt nội dung an toàn dựa trên LLM được xây dựng trên Gemma 2.
• Bao gồm các bộ phân loại cho các loại tổn hại chính như nội dung nguy hiểm, độc tố, ngôn ngữ thù hận, và nhiều hơn nữa.

(paper | tweet)

7. Evaluating Persona Agents

Tóm tắt:

• Đề xuất một chuẩn để đánh giá khả năng của các đại diện nhân vật trong LLM.
• Tìm thấy rằng Claude 3.5 Sonnet chỉ có sự cải thiện tương đối 2.97% về PersonaScore so với GPT 3.5 mặc dù là một mô hình tiên tiến hơn nhiều.

(paper | tweet)

8. Machine Unlearning Survey

Tóm tắt:

• Cung cấp một khảo sát toàn diện về việc học máy trong AI tạo ra.

(paper | tweet)

9. ThinK

Tóm tắt:

• Đề xuất một phương pháp để giải quyết sự kém hiệu quả trong việc tiêu thụ bộ nhớ bộ nhớ KV.
• Tập trung vào các trường hợp dài ngữ cảnh và phía suy luận.
• Trình bày một phương pháp cắt tỉa bộ nhớ KV phụ thuộc vào truy vấn để giảm thiểu sự mất mát trọng số chú ý trong khi cắt tỉa các kênh ít quan trọng nhất.

(paper | tweet)

10. The Art of Refusal

Tóm tắt:

• Một khảo sát về các phương pháp hiện tại được sử dụng để đạt được sự từ chối trong LLM.
• Cung cấp các chuẩn đánh giá và các thước đo được sử dụng để đo lường sự từ chối trong LLM.

(paper | tweet)