GPT-6 Astra đã vá lỗi tư duy vô tận của một AI khác

Nội dung video này đề cập

• Việc tăng điểm Qwen được báo cáo đến từ một sửa chữa có mục tiêu đối với suy luận lặp lại; khoảng một phần ba số câu trả lời đã chỉnh sửa vẫn đạt giới hạn độ dài trong giao thức chính.
• Việc huấn luyện gradient bị cấm, trong khi Python, câu trả lời thực hành và phản hồi chạy mô hình theo lô được phép qua nhiều lượt. Các câu hỏi đánh giá cuối cùng được khai báo là đã giữ lại.
• Các thí nghiệm về trọng số thô nhỏ và không triển khai trò chơi đã sử dụng các điều kiện khác nhau. Các tuyên bố của chúng phải giữ nguyên phạm vi công cụ, đầu vào và đường cơ sở riêng của từng thí nghiệm.
• Matthew Honnibal ghi nhận công việc kỹ thuật có sự hỗ trợ của công cụ và phản đối ấn tượng rộng hơn được tạo ra bằng cách gộp các thí nghiệm lại với nhau.
• Nghiên cứu tiếp theo nhỏ hơn về Gemma đã sử dụng thiết lập riêng của nó và không thể thiết lập được sự cải thiện. Hãy kiểm tra xem việc chỉnh sửa trọng số sửa chữa lỗi nào trước khi áp dụng nó cho một mô hình khác.

Bản ghi đã dịch

Được dịch từ lời tường thuật tiếng Anh gốc. Âm thanh và phụ đề có sẵn được điều khiển bởi YouTube.

Tại sao điểm số toán học lại tăng vọt?

0:00 Một AI làm cho một AI khác thông minh hơn sáu lần nghe có vẻ như là thiên tài ngay lập tức. Bước nhảy vọt lớn về điểm số của Astra đến từ việc giúp Qwen hoàn thành các câu trả lời mà nó cứ lặp đi lặp lại. Trong video này, điều gì đã thay đổi? Astra đã nhận được sự giúp đỡ gì? Và việc sửa chữa đi được bao xa? Qwen đã tăng từ khoảng tám phần trăm lên bốn mươi tám phần trăm. Các nhà nghiên cứu đã thử một mô hình thứ hai với hầu hết không có vòng lặp. Chúng ta sẽ xem điều đó diễn ra như thế nào trước khi có phán quyết.

0:22 Hôm nay là thứ Ba, ngày 3 tháng 11, và đây là The Daily Diff. Lập trình không gian trọng số là tên gọi của các nhà nghiên cứu cho việc yêu cầu một AI kiểm tra hoặc viết các con số bên trong một mạng thần kinh. Những con số đó là các trọng số của nó. Nhóm liên kết với MIT này đã sử dụng GPT-6 Astra của OpenAI để chỉnh sửa một mô hình ngôn ngữ Qwen nhỏ, với việc huấn luyện thông thường bị cấm. Rikiya Takehi và các đồng tác giả của ông đã công bố nghiên cứu vào thứ Hai,

0:44 hỏi liệu một AI hiện có thể suy luận về nội bộ của một mạng khác hay không. Kết quả tiêu đề của họ rất dễ nhấp chuột. Trên bài toán Math 500, Qwen đã tăng từ khoảng tám phần trăm lên bốn mươi tám phần trăm. Gần sáu lần số câu trả lời đúng. Qwen tiếp tục suy nghĩ cho đến khi hết chỗ để trả lời.

Qwen đã làm gì sai?

1:00 Trong chế độ suy nghĩ, nó thường lặp lại suy luận của mình. Hãy tưởng tượng một học sinh điền đầy tập bài thi bằng các phép tính cho đến khi chuông reo. Người chấm vẫn cần một câu trả lời. Hầu hết các câu trả lời gốc đều đạt giới hạn độ dài. Astra đã xác định một hướng lặp lại trong hai lớp bên trong, sau đó loại bỏ đóng góp của nó khỏi các cột trọng số được chọn. Sau chỉnh sửa đó, nhiều câu trả lời đã đi đến kết luận. Khoảng một phần ba vẫn đạt giới hạn trong bài kiểm tra được báo cáo.

1:22 Tập bài thi cuối cùng đã có một dòng cuối cùng. Hôm nay, Matthew Honnibal, người tạo ra spaCy và đồng sáng lập Explosion,

Người phê bình hôm nay tranh cãi điều gì?

1:28 đã thách thức cách trình bày. Ông nói rằng người đọc có thể kết hợp các điều kiện khác nhau của các thí nghiệm thành một ấn tượng về một kỹ thuật phi thường. Sự phản đối của ông liên quan đến câu chuyện tổng hợp của họ. Chúng ta có thể tự kiểm tra các điều kiện. Thí nghiệm Qwen đã cấp cho Astra một sổ ghi chép Python về trọng số và các bài

Astra thực sự đã nhận được sự giúp đỡ gì?

1:44 tập thực hành kèm theo câu trả lời. Qua nhiều lượt, nó đã kiểm tra các kích hoạt bên trong và so sánh các phiên bản gốc và đã chỉnh sửa. Ngân sách cuối cùng cho phép năm mươi lô chạy mô hình. Mỗi lô tạo ra có thể chứa hàng trăm câu trả lời. Dữ liệu thực hành đến từ các phân tách huấn luyện. Các nhà nghiên cứu nói rằng Astra chưa bao giờ nhìn thấy các bộ đánh giá cuối cùng. Phản hồi đã giúp chọn chỉnh sửa; các vấn đề được giữ lại đã đo lường nó sau đó. Các cài đặt lấy mẫu không đổi giữa Qwen gốc và đã chỉnh sửa,

2:09 làm cho việc so sánh điểm số của giao thức này có thể diễn giải được. Lời nhắc ban đầu đã cung cấp cho nó một người giám sát phòng thí nghiệm hữu ích. Chẩn đoán lỗi, tìm các thành phần chịu trách nhiệm, so sánh trên cùng các vấn đề và kiểm tra một số điểm mạnh. Nó đã đề cập rõ ràng đến suy nghĩ lặp lại như một sửa chữa được tính. Các sinh viên tốt nghiệp nên đàm phán để có gói giới thiệu này. Đó là một sửa chữa ấn tượng.

Việc sửa chữa thực tế nhỏ đến mức nào?

2:28 Chỉnh sửa có mục tiêu của Astra đã chạm đến khoảng một trăm ba mươi mốt nghìn trọng số. Đó là khoảng mười sáu phần nghìn của một phần trăm của mô hình. Tệp trọng số đã thay đổi trực tiếp. Việc huấn luyện gradient vẫn bị cấm; mô hình hiện có đã trả lời sau khi phiên chỉnh sửa của Astra kết thúc. Sự cải thiện cũng đạt được việc tuân thủ hướng dẫn. Tôi thích ý nghĩa thực tế. Một mô hình có thể sở hữu công việc hữu ích mà chế độ lỗi của nó cứ chôn vùi.

2:48 Sửa lỗi đó có thể khôi phục các câu trả lời có thể sử dụng được. Hoàn thành là quan trọng. Honnibal ghi nhận công việc được hỗ trợ bằng công cụ là thực hiện các nhiệm vụ mà một kỹ sư học máy con người có thể làm được. Điều đó có ý nghĩa quan trọng đối với một tác nhân. Phàn nàn của ông là các minh chứng số thô nhỏ và các sửa chữa được hỗ trợ bằng Python lớn hơn mời gọi một kết luận rộng hơn khi được gộp lại với nhau. Lấy các mạng trò chơi nhỏ.

Những thí nghiệm nào thực sự không có công cụ?

3:09 Trong một thí nghiệm, Astra đã đọc các con số thô của chúng và xác định đúng mạng nào đã học trò chơi nào. Các công cụ bị cấm. Trong một thí nghiệm khác, nó đã viết các trọng số chơi trò chơi mới từ đầu bằng cách sử dụng các quy tắc và mã nguồn, không có triển khai thực hành. Đó là những minh chứng riêng biệt với bằng chứng riêng biệt. Các mạng của Astra đã đánh bại đường cơ sở được huấn luyện trong một trăm triệu bước trong tất cả ba trò chơi. So với đường cơ sở được huấn luyện lâu hơn, nó đã thua ở Seaquest và

3:32 Asterix, trong khi thắng Breakout. Thay đổi cột so sánh, và bài phát biểu chiến thắng cần chỉnh sửa. Thuận tiện, chỉnh sửa là chủ đề của ngày hôm nay. Đối với một tuyên bố rộng hơn, chúng ta sẽ muốn có những cải tiến trên các mô hình với các lỗi khác nhau.

Một tuyên bố tổng quát hơn sẽ cần gì?

3:44 Theo dõi những gì trình chỉnh sửa đã thấy và những gì được coi là thành công. Thẻ mô hình của Qwen đã cảnh báo về các vòng lặp suy nghĩ. Việc loại bỏ chướng ngại vật đã biết này có một điểm khởi đầu cụ thể. Để ghi nhận công lao của họ, các tác giả tự công bố nghiên cứu tiếp theo không thoải mái. Họ giải thích rằng việc dừng các vòng lặp cho phép Qwen hoàn thành các câu trả lời mà nó đã có thể giải quyết được. Các nhật ký của họ bao gồm các lời nhắc, phản hồi và chỉnh sửa. Chúng ta có thể kiểm tra thành tựu và đặt một câu hỏi khó hơn.

Điều gì đã xảy ra với mô hình hiếm khi lặp lại?

4:06 Bây giờ là mô hình thứ hai, một Gemma nhỏ hơn trong thiết lập tiếp theo của riêng nó. Nó hiếm khi lặp lại, vì vậy các lỗi của nó là các phép tính sai thông thường và đại số không hợp lệ. Astra đã thử chỉnh sửa trọng số có mục tiêu với phản hồi thực hành một lần nữa. Không có chỉnh sửa nào di chuyển điểm số toán học của nó hơn khoảng một điểm, và một sự cải thiện đã không được thiết lập. Việc sửa chữa Qwen thành công đã có một chướng ngại vật để loại bỏ. Các lỗi số học của Gemma vẫn tồn tại. Đó là câu hỏi hữu ích cho các nhà phát triển.

4:28 Việc chỉnh sửa đã sửa lỗi nào, và mô hình của bạn có thực sự mắc lỗi đó không? Kiểm tra các trọng số đã lưu trên các tác vụ của riêng bạn trước khi ăn mừng hệ số nhân. Một nút thắt cổ chai đã sửa chữa có thể rất quan trọng trong khi nút thắt cổ chai tiếp theo vẫn ở nguyên vị trí của nó. Nếu bạn muốn đọc điều này hơn là nghe tôi nói, the diff sẽ được gửi vào hộp thư đến của bạn mỗi sáng, miễn phí tại the daily diff dot dev, liên kết bên dưới.

Tôi có SHIP IT tuyên bố chỉnh sửa trọng số không?

4:47 Vì vậy, phán quyết hôm nay là NEEDS REVIEW. Tôi sẽ xem xét nghiêm túc việc sửa chữa vòng lặp và thử nghiệm nó. Tôi sẽ giữ các tuyên bố rộng hơn được giới hạn ở thành công vượt ra ngoài chế độ lỗi đó. Ví dụ phản biện của chính các tác giả là dòng hữu ích nhất trong diff. Và đó là diff của ngày hôm nay. Tôi là Niko từ Axrisi. Hợp nhất có trách nhiệm.

Nguồn

1. Weight-space programming studyRikiya Takehi and coauthors
2. November 3 critique of bundled experiment conditionsMatthew Honnibal
3. Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
4. Actual initial Qwen promptRikiya Takehi and coauthors
5. Pinned smaller Gemma follow-upRikiya Takehi and coauthors
6. Original model-card thinking-loop warningQwen
7. Primary study discussionHacker News
8. Critique discussionHacker News
9. Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
10. Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
11. Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above