[Paper Notes] Implicit Reasoning in Transformers is Reasoning through Shortcuts

Paper Link: Implicit Reasoning in Transformers is Reasoning through Shortcuts

Các mô hình ngôn ngữ hiện đại như OpenAI’s o1, o3 hay DeepSeek’s R1 cho thấy rằng tính toán thời gian kiểm tra (test-time compute) – tức là tư duy từng bước rõ ràng trong quá trình suy luận – giúp cải thiện đáng kể khả năng giải quyết các bài toán phức tạp. Bằng cách chia nhỏ nhiệm vụ thành các bước trung gian, các mô hình này đạt được độ chính xác cao hơn.

Ngược lại, tư duy ngầm (implicit reasoning) là khi mô hình đưa ra câu trả lời trực tiếp mà không nêu rõ các bước trung gian. Phương pháp này hiệu quả hơn về mặt tính toán (tạo ít token hơn), nhưng thường không đạt độ chính xác như tư duy tường minh khi đối mặt với các bài toán phức tạp.

Một câu hỏi quan trọng được đặt ra: Tại sao tư duy ngầm không thể sánh ngang với tư duy tường minh trong các nhiệm vụ phức tạp? Liệu đây là hạn chế cơ bản của kiến trúc transformer, hay chỉ là vấn đề liên quan đến cách huấn luyện? Câu trả lời có thể định hình cách thiết kế và tối ưu hóa các mô hình ngôn ngữ trong tương lai.

Câu hỏi nghiên cứu

Mục tiêu chính của nghiên cứu là xác định liệu các mô hình transformer có thể phát triển khả năng tư duy ngầm mạnh mẽ – tức là khả năng giải quyết các bài toán phức tạp một cách chính xác và tổng quát mà không cần diễn giải từng bước – hay chỉ dựa vào lối tắt (shortcut learning), dẫn đến việc thiếu khả năng tổng quát hóa.

Tư duy ngầm mạnh mẽ ám chỉ việc mô hình có thể xử lý các bài toán phức tạp, chẳng hạn như các bài toán toán học nhiều bước, bằng cách tính toán nội tại và đưa ra đáp án đúng mà không cần hiển thị các bước trung gian. Điều này đòi hỏi mô hình phải hiểu sâu sắc về logic và cấu trúc của bài toán, thay vì chỉ ghi nhớ các mẫu (pattern) từ dữ liệu huấn luyện. Ngược lại, lối tắt là khi mô hình học cách ánh xạ trực tiếp từ đầu vào đến đầu ra dựa trên các mẫu quen thuộc trong dữ liệu, mà không thực sự nắm bắt được bản chất của bài toán. Ví dụ, trong một bài toán toán học như m = 16 - 5, z = 11 - m, b = z + 22, một mô hình sử dụng lối tắt có thể chỉ ghi nhớ cách cộng hoặc trừ các số cụ thể mà không hiểu cách thay thế biến đúng cách.

Câu hỏi nghiên cứu đặt ra nhằm làm rõ liệu hạn chế của tư duy ngầm là do kiến trúc transformer – chẳng hạn như cách chúng xử lý thông tin qua cơ chế attention – hay do dữ liệu và phương pháp huấn luyện. Nếu vấn đề nằm ở kiến trúc, điều này có thể yêu cầu các cải tiến cơ bản trong thiết kế mô hình. Nếu vấn đề là do huấn luyện, việc sử dụng dữ liệu đa dạng hơn hoặc các kỹ thuật huấn luyện mới có thể giúp cải thiện khả năng tư duy ngầm. Kết quả nghiên cứu sẽ có ý nghĩa lớn trong việc định hướng phát triển các mô hình ngôn ngữ, đặc biệt là trong các ứng dụng yêu cầu hiệu quả tính toán cao nhưng vẫn cần độ chính xác và khả năng tổng quát hóa tốt.

Phương pháp nghiên cứu

Các nhà nghiên cứu đã thực hiện các thí nghiệm để khám phá tư duy ngầm trong transformer, tập trung vào các bài toán toán học nhiều bước. Phương pháp cụ thể bao gồm: Mô hình và Huấn luyện:

• Họ sử dụng GPT-2 được huấn luyện từ đầu (không sử dụng mô hình đã được huấn luyện trước) trên một tập dữ liệu toán học nhiều bước được thiết kế cẩn thận. Điều này giúp kiểm soát tác động của dữ liệu huấn luyện lên khả năng tư duy.
• Tập dữ liệu bao gồm hai loại bài toán:
  • Dữ liệu mẫu cố định: Các bài toán có cấu trúc giải pháp nhất quán (ví dụ: luôn theo một trình tự phép toán giống nhau).
  • Dữ liệu mẫu không cố định: Các bài toán có cấu trúc giải pháp đa dạng, đòi hỏi tư duy tổng quát hơn.
• Nhiệm vụ:
  • Mô hình được yêu cầu giải các bài toán toán học nhiều bước (ví dụ: cho m = 16 - 5, z = 11 - m, b = z + 22, tìm b).
  • Mô hình phải đưa ra đáp án cuối cùng trực tiếp (tư duy ngầm) mà không cần hiển thị các bước trung gian.
• Đánh giá:
  • Mô hình được kiểm tra trên cả bài toán trong miền (tương tự dữ liệu huấn luyện) và bài toán ngoài miền (có cấu trúc khác) để đánh giá khả năng tổng quát hóa.
  • Họ cũng phân tích các trường hợp thất bại cụ thể, như "Vấn đề biến làm số bị trừ" (Variable as Subtrahend Plight), khi các biến xuất hiện trong vai trò số bị trừ (ví dụ: z = 11 - m).

Kết quả chính

Các thí nghiệm cho thấy một số phát hiện quan trọng về tư duy ngầm trong transformer:

1. Tư duy ngầm hiệu quả với mẫu cố định: Khi được huấn luyện trên dữ liệu mẫu cố định, GPT-2 đạt độ chính xác cao trên cả bài toán trong và ngoài miền. Điều này cho thấy transformer có thể thực hiện tư duy ngầm hiệu quả khi bài toán có cấu trúc nhất quán. Ví dụ: Với bài toán m = 16 - 5, z = 11 - m, b = z + 22, mô hình đúng đắn đưa ra đáp án b = 28 bằng cách tính toán ngầm các bước.

2. Không tổng quát hóa được với mẫu không cố định: Khi huấn luyện trên dữ liệu mẫu không cố định (cấu trúc đa dạng), mô hình quá khớp (overfit) với các mẫu cụ thể trong dữ liệu huấn luyện và thất bại trong việc tổng quát hóa cho các loại bài toán mới. Điều này cho thấy mô hình không thực sự tư duy mà chỉ dựa vào học lối tắt – ghi nhớ các mẫu trong dữ liệu thay vì hiểu logic cơ bản.

3. Vấn đề "Biến làm số bị trừ":

Một trường hợp thất bại cụ thể được xác định là khi các biến xuất hiện trong vai trò số bị trừ (như z = 11 - m). Ví dụ, trong bài toán c = 13 - 4, w = 17 - c, f = 15 - w, mô hình thường đưa ra đáp án sai. Tuy nhiên, khi không có biến nào làm số bị trừ, mô hình hoạt động tốt, cho thấy chúng khai thác các mẫu đơn giản hơn thay vì tư duy mạnh mẽ.

4. So sánh với các mô hình tiên tiến: Ngay cả các mô hình tiên tiến như GPT-4o cũng gặp vấn đề tương tự, đưa ra đáp án sai khi gặp biến làm số bị trừ (ví dụ: tính sai b = 44 thay vì b = 28 trong ví dụ trên bằng cách dùng lối tắt như b = 16 - 5 + 11 + 22).

5. Cơ chế cốt lõi: Học lối tắt: Bài báo kết luận rằng tư duy ngầm trong transformer chủ yếu là học lối tắt – mô hình học cách ánh xạ mẫu đầu vào sang đầu ra mà không phát triển kỹ năng tư duy tổng quát. Điều này tương tự như việc ghi nhớ các công thức toán học cụ thể thay vì hiểu các khái niệm toán học cơ bản.

Kết luận

Bài báo chứng minh rằng tư duy ngầm trong transformer không phải là tư duy thực sự mà là học lối tắt dựa trên việc nhận diện mẫu. Mặc dù chúng có thể đạt độ chính xác cao với các bài toán có mẫu cố định, chúng gặp khó khăn trong việc tổng quát hóa cho các cấu trúc bài toán đa dạng hoặc mới. Điều này có ý nghĩa quan trọng đối với việc thiết kế mô hình ngôn ngữ và dữ liệu huấn luyện, gợi ý rằng các phương pháp tư duy tường minh hoặc hệ thống kết hợp neuro-symbolic có thể cần thiết để đạt được tư duy mạnh mẽ trong các nhiệm vụ phức tạp.