GPT-6 Astra แก้ไขการคิดไม่รู้จบของ AI ตัวอื่น

วิดีโอนี้ครอบคลุมอะไรบ้าง

• การเพิ่มขึ้นของคะแนน Qwen ที่รายงานมาจากการแก้ไขเป้าหมายสำหรับการให้เหตุผลซ้ำๆ โดยประมาณหนึ่งในสามของคำตอบที่แก้ไขยังคงถึงขีดจำกัดความยาวในโปรโตคอลหลัก
• การฝึกอบรมแบบ Gradient ถูกห้าม ในขณะที่ Python คำตอบจากการฝึกฝน และข้อเสนอแนะจากการรันโมเดลแบบแบตช์ได้รับอนุญาตตลอดหลายรอบ คำถามประเมินผลสุดท้ายถูกประกาศว่าถูกกันไว้
• การทดลองเกมแบบน้ำหนักดิบขนาดเล็กและไม่มีการเปิดตัวใช้เงื่อนไขที่แตกต่างกัน ข้อเรียกร้องของพวกเขาควรรักษาขอบเขตเครื่องมือ อินพุต และพื้นฐานส่วนบุคคลไว้
• Matthew Honnibal ยกย่องวิศวกรรมที่ใช้เครื่องมือช่วย และโต้แย้งความประทับใจที่กว้างขึ้นที่เกิดจากการรวมการทดลองเข้าด้วยกัน
• การติดตามผลของ Gemma ที่เล็กกว่าใช้การตั้งค่าของตัวเองและไม่สามารถยืนยันการปรับปรุงได้ ทดสอบว่าการแก้ไขน้ำหนักใดที่ซ่อมแซมความล้มเหลวก่อนที่จะนำไปใช้กับโมเดลอื่น

บทถอดเสียงที่แปลแล้ว

แปลจากการบรรยายภาษาอังกฤษต้นฉบับ เสียงและคำบรรยายที่มีให้จะควบคุมโดย YouTube

ทำไมคะแนนคณิตศาสตร์ถึงเพิ่มขึ้น?

0:00 AI ที่ทำให้ AI ตัวอื่นฉลาดขึ้นหกเท่าฟังดูเหมือน อัจฉริยะในทันที การเพิ่มคะแนนครั้งใหญ่ของ Astra มาจากการช่วย Qwen ตอบคำถามที่มัน พูดซ้ำ ในวิดีโอนี้ มีอะไรเปลี่ยนแปลงไปบ้าง? Astra ได้รับความช่วยเหลืออะไรบ้าง? และการแก้ไขนั้นเดินทางไปได้ไกลแค่ไหน? Qwen เพิ่มขึ้นจากประมาณแปดเปอร์เซ็นต์เป็นสี่สิบแปดเปอร์เซ็นต์ นักวิจัยลองใช้โมเดลที่สองที่ไม่มีลูปเลยเกือบจะไม่มีเลย เราจะมาดูกันว่าผลเป็นอย่างไรก่อนการตัดสิน

0:22 วันนี้วันอังคารที่ 3 พฤศจิกายน และนี่คือ The Daily Diff การเขียนโปรแกรมในพื้นที่น้ำหนักเป็นชื่อที่นักวิจัยใช้ สำหรับการขอให้ AI ตรวจสอบหรือ เขียนตัวเลขภายในเครือข่ายประสาทเทียม ตัวเลขเหล่านั้นคือน้ำหนักของมัน ทีมงานในเครือ MIT นี้ใช้ GPT-6 Astra ของ OpenAI เพื่อแก้ไขโมเดลภาษา Qwen ขนาดเล็ก โดยห้ามการฝึกอบรมแบบปกติ Rikiya Takehi และผู้ร่วมเขียนของเขาเผยแพร่งานวิจัยเมื่อวันจันทร์

0:44 โดยถามว่า AI ที่มีอยู่สามารถให้เหตุผลเกี่ยวกับภายในของเครือข่ายอื่นได้หรือไม่ ผลลัพธ์พาดหัวของพวกเขาสามารถคลิกได้มาก ใน Math 500 Qwen เพิ่มขึ้นจากประมาณแปดเปอร์เซ็นต์เป็นสี่สิบแปดเปอร์เซ็นต์ เกือบหกเท่าของคำตอบที่ถูกต้อง Qwen คิดไปเรื่อยๆ จนกระทั่งไม่มีพื้นที่ให้ตอบ

Qwen ทำอะไรผิด?

1:00 ในโหมดการคิด มันมักจะทำซ้ำการให้เหตุผลของมัน ลองนึกภาพนักเรียนที่เติมสมุดสอบด้วยงานจนกระทั่งออดดังขึ้น ผู้ตรวจยังคงต้องการคำตอบ คำตอบดั้งเดิมส่วนใหญ่ถึงขีดจำกัดความยาว Astra ระบุทิศทางการทำซ้ำในสองชั้นภายใน จากนั้นลบการมีส่วนร่วมนั้นออกจากคอลัมน์น้ำหนักที่เลือก หลังจากการแก้ไขนั้น คำตอบก็ถึงข้อสรุปมากขึ้น ประมาณหนึ่งในสามยังคงถึงขีดจำกัดในการทดสอบที่รายงาน

1:22 สมุดสอบก็มีบรรทัดสุดท้ายในที่สุด วันนี้ Matthew Honnibal ผู้สร้าง spaCy และผู้ร่วมก่อตั้ง Explosion

นักวิจารณ์ในวันนี้โต้แย้งอะไร?

1:28 ท้าทายการนำเสนอ เขากล่าวว่าผู้อ่านสามารถรวมเงื่อนไขที่แตกต่างกันของการทดลองเข้าด้วยกันเป็น ความประทับใจของเทคนิคพิเศษหนึ่งอย่าง ข้อโต้แย้งของเขาเกี่ยวข้องกับเรื่องราวที่รวมกันของพวกเขา เราสามารถตรวจสอบเงื่อนไขได้ด้วยตัวเอง การทดลอง Qwen ให้ Astra เข้าถึงสมุดบันทึก Python เหนือน้ำหนักและปัญหาการฝึกฝน

Astra ได้รับความช่วยเหลืออะไรบ้าง?

1:44 พร้อมคำตอบ ตลอดหลายรอบ มันตรวจสอบการกระตุ้นภายในและเปรียบเทียบเวอร์ชันดั้งเดิมและ ที่แก้ไข งบประมาณสุดท้ายอนุญาตให้รันโมเดลได้ห้าสิบชุด แต่ละชุดการสร้างสามารถมีคำตอบหลายร้อยคำตอบ ข้อมูลการฝึกฝนมาจากส่วนการฝึกอบรม นักวิจัยกล่าวว่า Astra ไม่เคยเห็นชุดการประเมินผลสุดท้าย ข้อเสนอแนะช่วยเลือกการแก้ไข ปัญหาที่ถูกกันไว้ใช้วัดผลหลังจากนั้น การตั้งค่าการสุ่มตัวอย่างยังคงคงที่ระหว่าง Qwen ดั้งเดิมและที่แก้ไข

2:09 ทำให้การเปรียบเทียบคะแนนของโปรโตคอลนี้สามารถตีความได้ พรอมต์แรกให้หัวหน้างานในห้องปฏิบัติการที่มีประโยชน์ วินิจฉัยความล้มเหลว ค้นหาส่วนประกอบที่รับผิดชอบ เปรียบเทียบในปัญหาเดียวกัน และทดสอบความแข็งแกร่งหลายอย่าง มันกล่าวถึงการคิดซ้ำๆ อย่างชัดเจนว่าเป็นการซ่อมแซมที่นับได้ นักศึกษาปริญญาโทควรเจรจาขอแพ็คเกจการปฐมนิเทศนี้ นั่นเป็นการซ่อมแซมที่น่าประทับใจ

การซ่อมแซมจริงเล็กน้อยเพียงใด?

2:28 การแก้ไขเป้าหมายของ Astra แตะน้ำหนักประมาณหนึ่งแสนสามหมื่นหนึ่งพันน้ำหนัก นั่นคือประมาณสิบหกในพันของเปอร์เซ็นต์ของโมเดล ไฟล์น้ำหนักเปลี่ยนแปลงโดยตรง การฝึกอบรมแบบ Gradient ยังคงถูกห้าม โมเดลที่มีอยู่ทำหน้าที่ตอบหลังจาก เซสชันการแก้ไขของ Astra สิ้นสุดลง การเพิ่มขึ้นยังครอบคลุมถึงการปฏิบัติตามคำสั่ง ฉันชอบผลกระทบในทางปฏิบัติ โมเดลสามารถมีงานที่มีประโยชน์ที่โหมดความล้มเหลวของมันยังคงฝังอยู่

2:48 การแก้ไขความล้มเหลวนั้นสามารถกู้คืนคำตอบที่ใช้งานได้ การทำให้เสร็จนับได้ Honnibal ให้เครดิตแก่งานที่ใช้เครื่องมือช่วยว่าเป็นการทำงาน ที่วิศวกรการเรียนรู้ของเครื่องที่เป็นมนุษย์สามารถทำได้ นั่นเป็นสิ่งสำคัญสำหรับตัวแทน ข้อร้องเรียนของเขาคือการสาธิตตัวเลขดิบขนาดเล็กและการซ่อมแซมที่ใช้ Python ช่วย ที่ใหญ่ขึ้นเชิญชวนให้สรุปที่กว้างขึ้นเมื่อรวมเข้าด้วยกัน ลองดูเครือข่ายเกมขนาดเล็ก

การทดลองใดที่ไม่มีเครื่องมือจริง?

3:09 ในการทดลองหนึ่ง Astra อ่านตัวเลขดิบและระบุได้อย่างถูกต้องว่า แต่ละเครือข่ายได้เรียนรู้เกมอะไร เครื่องมือถูกห้าม ในการทดลองอื่น มันเขียนน้ำหนักการเล่นเกมใหม่ทั้งหมดตั้งแต่เริ่มต้นโดยใช้กฎและ ซอร์สโค้ด โดยไม่มีการเปิดตัวการฝึกฝน นั่นคือการสาธิตที่แยกจากกันพร้อมหลักฐานที่แยกจากกัน เครือข่ายของ Astra เอาชนะพื้นฐานที่ได้รับการฝึกอบรมเป็นร้อยล้านขั้นตอนในทุก สามเกม เมื่อเทียบกับพื้นฐานที่ได้รับการฝึกอบรมมานานขึ้น มันแพ้ใน Seaquest และ

3:32 Asterix ในขณะที่ชนะ Breakout เปลี่ยนคอลัมน์เปรียบเทียบ และคำกล่าวสุนทรพจน์แห่งชัยชนะก็ต้องได้รับการแก้ไข สะดวกที่การแก้ไขเป็นหัวข้อของวันนี้ สำหรับข้อเรียกร้องที่กว้างขึ้น เราต้องการการปรับปรุงข้ามโมเดลที่มีความล้มเหลวที่แตกต่างกัน

ข้อเรียกร้องที่ทั่วไปมากขึ้นต้องใช้อะไร?

3:44 ติดตามสิ่งที่โปรแกรมแก้ไขเห็นและอะไรที่ถือว่าเป็นความสำเร็จ การ์ดโมเดลของ Qwen ได้เตือนเกี่ยวกับลูปการคิดแล้ว การขจัดอุปสรรคที่รู้จักนี้มีจุดเริ่มต้นเฉพาะ เพื่อเป็นเครดิตแก่พวกเขา ผู้เขียนเผยแพร่การติดตามผลที่อึดอัดด้วยตัวเอง พวกเขาอธิบายว่าการหยุดลูปทำให้ Qwen สามารถตอบคำถามที่มันสามารถทำได้แล้ว บันทึกของพวกเขารวมถึงพรอมต์ ข้อเสนอแนะ และการแก้ไข เราสามารถตรวจสอบความสำเร็จและถามคำถามที่ยากขึ้นได้

เกิดอะไรขึ้นกับโมเดลที่วนซ้ำไม่บ่อย?

4:06 ตอนนี้โมเดลที่สอง Gemma ที่เล็กกว่าในการตั้งค่าการติดตามผลของตัวเอง มันวนซ้ำไม่บ่อยนัก ดังนั้นความล้มเหลวของมันจึงเป็นเลขคณิตที่ผิดพลาดปกติและพีชคณิตที่ไม่ถูกต้อง Astra พยายามแก้ไขน้ำหนักที่กำหนดเป้าหมายพร้อมข้อเสนอแนะจากการฝึกฝนอีกครั้ง ไม่มีอันไหนที่ขยับคะแนนคณิตศาสตร์ได้มากกว่าประมาณหนึ่งคะแนน และการเพิ่มขึ้นก็ไม่ได้รับการยืนยัน การซ่อมแซม Qwen ที่ประสบความสำเร็จมีอุปสรรคที่ต้องกำจัด ข้อผิดพลาดทางคณิตศาสตร์ของ Gemma ยังคงอยู่รอด นั่นคือคำถามที่เป็นประโยชน์สำหรับนักพัฒนา

4:28 การแก้ไขนั้นซ่อมแซมความล้มเหลวอะไร และโมเดลของคุณมีมันจริงหรือไม่? ทดสอบน้ำหนักที่บันทึกไว้ในงานของคุณเองก่อนที่จะฉลองตัวคูณ คอขวดที่ได้รับการซ่อมแซมสามารถมีความสำคัญอย่างมากในขณะที่คอขวดถัดไปยังคงอยู่ อยู่ที่เดิมทุกประการ หากคุณต้องการอ่านสิ่งนี้แทนที่จะฟังฉันพูด ความแตกต่างจะไปถึงกล่องจดหมายของคุณ ทุกเช้า ฟรีที่ the daily diff dot dev ลิงก์ด้านล่าง

ฉันจะ SHIP IT ข้อเรียกร้องการแก้ไขน้ำหนักหรือไม่?

4:47 ดังนั้น คำตัดสินของวันนี้คือ NEEDS REVIEW ฉันจะพิจารณาการซ่อมแซมลูปอย่างจริงจังและทดสอบมัน ฉันจะเก็บข้อเรียกร้องที่กว้างขึ้นไว้บนความสำเร็จที่เกินกว่าโหมดความล้มเหลวนั้น ตัวอย่างค้านของผู้เขียนเองเป็นบรรทัดที่มีประโยชน์ที่สุดในความแตกต่าง และนั่นคือความแตกต่างสำหรับวันนี้ ฉันชื่อ Niko จาก Axrisi รวมอย่างมีความรับผิดชอบ

แหล่งที่มา

1. Weight-space programming studyRikiya Takehi and coauthors
2. November 3 critique of bundled experiment conditionsMatthew Honnibal
3. Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
4. Actual initial Qwen promptRikiya Takehi and coauthors
5. Pinned smaller Gemma follow-upRikiya Takehi and coauthors
6. Original model-card thinking-loop warningQwen
7. Primary study discussionHacker News
8. Critique discussionHacker News
9. Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
10. Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
11. Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above