[Paper Notes] Reasoning models can be effective without thinking

Trong lĩnh vực trí tuệ nhân tạo, các mô hình ngôn ngữ lớn (LLMs) đã đạt được những bước tiến vượt bậc trong việc xử lý các nhiệm vụ suy luận phức tạp, từ giải toán đến lập trình và chứng minh định lý. Phương pháp Chain-of-Thought (CoT), với việc yêu cầu mô hình tạo ra các bước tư duy rõ ràng trước khi đưa ra câu trả lời, từ lâu được xem là tiêu chuẩn để nâng cao hiệu suất suy luận. Tuy nhiên, liệu quá trình tư duy rõ ràng này có thực sự cần thiết? Trong bài báo này, chúng tôi giới thiệu một cách tiếp cận mới mang tên NoThinking, sử dụng lời nhắc đơn giản để bỏ qua các bước tư duy trung gian, đồng thời chứng minh rằng phương pháp này không chỉ cạnh tranh mà đôi khi còn vượt trội so với CoT trên nhiều tập dữ liệu suy luận. Thông qua các thí nghiệm với mô hình DeepSeek-R1-Distill-Qwen và chiến lược mở rộng song song, nghiên cứu của chúng tôi thách thức quan niệm truyền thống về suy luận trong AI, mở ra hướng đi mới cho các ứng dụng hiệu quả và nhanh chóng trong các môi trường giới hạn tài nguyên.

Câu hỏi nghiên cứu mà bài báo giải quyết

Bài báo đặt ra một câu hỏi cốt lõi: Liệu các mô hình suy luận có cần phải thực hiện một quá trình tư duy rõ ràng (explicit thinking) để đạt được hiệu suất cao?

• Bối cảnh: Các mô hình ngôn ngữ lớn hiện nay, như DeepSeek-R1-Distill-Qwen, thường được huấn luyện để tạo ra các bước tư duy (thinking steps) trước khi đưa ra câu trả lời cuối cùng, đặc biệt trong các nhiệm vụ yêu cầu suy luận phức tạp như toán học, lập trình, hoặc chứng minh định lý. Phương pháp CoT được xem là tiêu chuẩn vàng để cải thiện hiệu suất suy luận, nhưng nó tốn nhiều tài nguyên tính toán và thời gian do phải tạo ra các chuỗi token dài.
• Giả thuyết: Các tác giả cho rằng có thể đạt được hiệu quả tương tự hoặc tốt hơn bằng cách bỏ qua các bước tư duy rõ ràng, sử dụng lời nhắc đơn giản để yêu cầu mô hình trả lời trực tiếp (NoThinking).
• Mục tiêu: So sánh hiệu suất của NoThinking và CoT trên các tập dữ liệu suy luận, đồng thời khám phá các phương pháp mở rộng hiệu quả của NoThinking thông qua chiến lược song song.

Phương pháp nghiên cứu

Các tác giả đã thực hiện một loạt các thí nghiệm để đánh giá hiệu quả của phương pháp NoThinking so với CoT. Dưới đây là các yếu tố chính trong phương pháp nghiên cứu:

3.1. Mô hình sử dụng

DeepSeek-R1-Distill-Qwen: Đây là mô hình ngôn ngữ tiên tiến được sử dụng để thử nghiệm. Mô hình này được chọn vì khả năng suy luận mạnh mẽ và là đại diện cho các mô hình hiện đại (state-of-the-art).

3.2. Phương pháp NoThinking Định nghĩa: NoThinking là chiến lược sử dụng lời nhắc đơn giản (simple prompting) để yêu cầu mô hình đưa ra câu trả lời trực tiếp mà không cần tạo ra các bước tư duy trung gian.

Ví dụ minh họa: Thay vì yêu cầu mô hình "hãy giải bài toán này và nêu rõ từng bước tư duy", lời nhắc NoThinking sẽ là "hãy đưa ra câu trả lời cuối cùng cho bài toán này".

Lợi ích tiềm năng: Giảm số lượng token được tạo ra, từ đó tiết kiệm tài nguyên tính toán và giảm độ trễ (latency).

3.3. Tập dữ liệu Nghiên cứu sử dụng bảy tập dữ liệu suy luận đa dạng, bao gồm:

• Giải toán (mathematical problem solving): Các bài toán yêu cầu tư duy logic và tính toán phức tạp.
• Chứng minh định lý hình thức (formal theorem proving): Các nhiệm vụ liên quan đến logic và chứng minh toán học.
• Lập trình (coding): Các bài toán yêu cầu viết hoặc giải mã đoạn code.

Một ví dụ cụ thể là tập dữ liệu ACM 23, trong đó NoThinking đạt hiệu suất 51.3% so với 28.9% của CoT khi giới hạn ở 700 token.

3.4. Chiến lược so sánh

• Kiểm soát số lượng token: Để đảm bảo so sánh công bằng, các tác giả giới hạn số lượng token tối đa mà mô hình có thể sử dụng cho cả NoThinking và CoT.
• Đo lường hiệu suất: Hiệu suất được đánh giá qua các chỉ số như độ chính xác (accuracy) và pass@k (xác suất mô hình đưa ra ít nhất một câu trả lời đúng trong k lần thử).
• Parallel scaling: Các tác giả thử nghiệm phương pháp tạo ra N đầu ra độc lập bằng NoThinking và tổng hợp chúng bằng:
• Task-specific verifiers: Các bộ kiểm tra được thiết kế riêng cho từng nhiệm vụ để chọn câu trả lời tốt nhất.
• Best-of-N strategies: Chọn câu trả lời dựa trên độ tin cậy (confidence-based selection) hoặc các tiêu chí đơn giản khác.

3.5. Thử nghiệm bổ sung

Các tác giả kiểm tra hiệu suất của NoThinking khi tăng số lần thử (pass@k), nhận thấy rằng hiệu suất của NoThinking cải thiện đáng kể khi k tăng. So sánh độ trễ (latency): NoThinking được so sánh với CoT ở các mức độ trễ khác nhau, bao gồm các trường hợp CoT mất thời gian gấp 9 lần.

Kết quả chính

Các kết quả từ nghiên cứu cho thấy NoThinking không chỉ khả thi mà còn có nhiều ưu điểm so với CoT trong một số tình huống:

• Hiệu suất vượt trội trong giới hạn tài nguyên:

  • Trên tập dữ liệu ACM 23, NoThinking đạt 51.3% độ chính xác so với 28.9% của CoT khi giới hạn ở 700 token.
  • NoThinking thể hiện hiệu quả cao hơn trên bảy tập dữ liệu suy luận, đặc biệt trong các tình huống ngân sách token thấp (low-budget settings).

• Cải thiện với pass@k:

  • Hiệu suất của NoThinking trở nên cạnh tranh hơn khi tăng số lần thử (k). Điều này cho thấy NoThinking có thể tận dụng các chiến lược lấy mẫu (sampling) để cải thiện độ chính xác.

• Parallel scaling hiệu quả:

  • Phương pháp mở rộng song song (tạo N đầu ra và tổng hợp) với NoThinking vượt trội so với các phương pháp CoT có độ trễ tương đương.
  • NoThinking đạt hiệu suất tương đương với CoT trong khi giảm độ trễ lên đến 9 lần trong một số trường hợp.

• Tổng hợp đầu ra:

  • Sử dụng task-specific verifiers hoặc best-of-N strategies (như confidence-based selection) giúp cải thiện đáng kể hiệu quả của NoThinking.

• ** Tính kinh tế:**

  • NoThinking tiết kiệm tài nguyên tính toán do không cần tạo ra các chuỗi token dài cho các bước tư duy. Điều này đặc biệt quan trọng trong các ứng dụng yêu cầu xử lý nhanh hoặc tài nguyên hạn chế.

Dừng lại một xíu

Bài báo đưa ra một số ý nghĩa quan trọng đối với lĩnh vực nghiên cứu AI và suy luận:

Tái đánh giá vai trò của CoT:

• Nghiên cứu thách thức quan niệm rằng các bước tư duy rõ ràng là cần thiết để đạt được hiệu suất suy luận cao. NoThinking cho thấy rằng mô hình có thể "nhảy" thẳng đến câu trả lời mà vẫn duy trì hoặc cải thiện độ chính xác.
• Điều này tương tự như cách một học sinh có thể giải bài toán nhanh chóng trong đầu mà không cần viết ra từng bước.

Hiệu quả tính toán:

• NoThinking giảm đáng kể số lượng token cần thiết, từ đó giảm chi phí tính toán và độ trễ. Điều này rất có giá trị trong các ứng dụng thực tế như xử lý thời gian thực hoặc triển khai trên các thiết bị có tài nguyên hạn chế.

Khả năng mở rộng song song:

• Chiến lược parallel scaling của NoThinking (tạo nhiều đầu ra và tổng hợp) mở ra một hướng tiếp cận mới để cải thiện hiệu suất mà không cần tăng độ phức tạp của quá trình tư duy.
• Các chiến lược tổng hợp như confidence-based selection hoặc task-specific verifiers có thể được tối ưu hóa thêm để tăng cường hiệu quả.

Hạn chế và hướng nghiên cứu tương lai:

• Mặc dù NoThinking hiệu quả trong nhiều trường hợp, bài báo không khẳng định rằng nó luôn vượt trội hơn CoT. Trong một số nhiệm vụ phức tạp, CoT có thể vẫn cần thiết để đảm bảo tính minh bạch hoặc để xử lý các vấn đề yêu cầu phân tích từng bước.
• Các tác giả khuyến khích nghiên cứu thêm về cách tối ưu hóa lời nhắc (prompt optimization) cho NoThinking và khám phá các chiến lược tổng hợp đầu ra mới.