Microsoft AI Frontiers: บันทึกของ Langford เกี่ยวกับการปรับโครงสร้างองค์กรและไปป์ไลน์การวิจัยที่ใช้ร่วมกัน

วิดีโอนี้ครอบคลุมอะไรบ้าง

• Langford กล่าวว่าการย้ายเข้าสู่ Microsoft AI ในช่วงต้นเดือนกันยายนขัดแย้งกับลำดับความสำคัญของการวิจัยของเขาและเขาจึงลาออก
• ประมาณห้าสิบคนเป็นประมาณการขนาดของกลุ่มของเขา บทความกล่าวถึงผู้ที่เหลืออยู่และไม่ได้ให้จำนวนการไล่ออก
• กลุ่มของเขาใช้ monorepo ร่วมกันภายใน Microsoft Research เขารายงานว่ามีความพยายามในไปป์ไลน์การฝึกอบรมอย่างน้อยสี่รายการ โดยอีกสามรายการอยู่นอกที่เก็บที่ใช้ร่วมกันทั่ว MSR
• Full-bandwidth transformer นำสถานะที่ซ่อนอยู่ก่อนหน้าพร้อมกับโทเค็นที่สุ่มตัวอย่างไปยังอินพุตถัดไป การประหยัดต้นทุนโดยรวมยังคงไม่ได้รับการยืนยันที่นี่
• README ที่เก็บถาวรของ AutoGen แนะนำ Microsoft Agent Framework คำเตือนการเก็บถาวรมีมาก่อนบล็อกและมีลำดับเวลาแยกต่างหาก

บทถอดเสียงที่แปลแล้ว

แปลจากการบรรยายภาษาอังกฤษต้นฉบับ เสียงและคำบรรยายที่มีให้จะควบคุมโดย YouTube

ทำไม AI Frontiers ของ Microsoft ถึงล้มเหลว?

0:00 ห้องปฏิบัติการวิจัย AI ภายใน Microsoft ควรมีอนาคต ผู้ร่วมก่อตั้งกล่าวว่า AI Frontiers สิ้นสุดลงแล้ว และเขาได้ลาออกไปแล้ว ในวิดีโอนี้ ทำไมเขาถึงจากไป? และไปป์ไลน์การฝึกอบรมสี่รายการมีส่วนเกี่ยวข้องกับเรื่องนี้อย่างไร? นี่คือคำตอบเบื้องต้น John Langford กล่าวว่าการย้ายเข้าสู่ Microsoft AI ในเดือนกันยายนทำให้การวิจัยของเขา ไม่เข้ากันกับลำดับความสำคัญใหม่ เขาจากไป บันทึกของเขาเกี่ยวกับไปป์ไลน์ทั้งสี่นั้นอธิบายว่าทำไมการนำทุกคน

0:22 ไปอยู่ใต้หัวหน้าคนเดียวกันยังคงพลาดปัญหาอยู่ วันอาทิตย์ที่ 8 พฤศจิกายน และนี่คือ The Daily Diff AI Frontiers เป็นกลุ่มวิจัยภายใน Microsoft Research ก่อตั้งขึ้นหลังจาก ChatGPT มาถึง Langford ประเมินขนาดของมันว่ามีประมาณห้าสิบคน มันทำงานเกี่ยวกับเอเจนต์และเทคนิคโมเดลใหม่ๆ Microsoft AI เป็นองค์กรแยกต่างหากที่ถูกย้ายเข้า ตามบันทึกของเขา

0:42 โพสต์ของเขาเมื่อวันที่ 6 พฤศจิกายนอ่านเหมือน

ทำไมต้องจัดตั้งกลุ่มวิจัยหลังจาก ChatGPT?

0:44 นักวิจัยอธิบายว่าทำไมเขาถึงลาออกในที่สุด เขากล่าวว่าเขาพยายามจัดหาตำแหน่งให้กับคนของเขาให้ดีที่สุดเท่าที่จะทำได้ก่อนที่จะจากไป และขอให้ผู้ที่เหลืออยู่โชคดี คำพูดนั้นมีความสำคัญ เรามีบันทึกการลาออกของเขา โดยมีเพื่อนร่วมงานยังคงอยู่ที่นั่น ย้อนกลับไปในปี 2023 ข้อร้องเรียนของเขาคือความเร็ว นักวิจัยคนเดียวอาจมาสายพร้อมกับการเปรียบเทียบที่อ่อนแอ กลุ่มรวบรวมความพยายามเพื่อการทดลองที่แข็งแกร่งขึ้น

1:06 แม้แต่ความก้าวหน้าของคุณก็ยังต้องการพื้นฐานที่สามารถจ่ายค่าไฟฟ้าได้ บางงานก็เข้าถึงนักพัฒนา Langford ตั้งชื่อ AutoGen ซึ่งเป็นเฟรมเวิร์กสำหรับการประสานงานเอเจนต์ นอกจากนี้ยังมีเอกสารวิจัยโมเดลสาธารณะที่มีเขาเป็นผู้ร่วมเขียน กลุ่มนี้ได้เผยแพร่งานเพื่อปกป้องพร้อมกับคำแถลงภารกิจของพวกเขา แล้วก็มีการปรับโครงสร้างองค์กร

เกิดอะไรขึ้นเมื่อ AI Frontiers ย้ายเข้าสู่ Microsoft AI?

1:23 Langford กล่าวว่า AI Frontiers ย้ายเข้าสู่ Microsoft AI ในช่วงต้นเดือนกันยายน Mustafa Suleyman อดีตจาก Inflection เป็นผู้นำองค์กรนั้น Langford อธิบายถึงความขัดแย้งกับผู้นำ Inflection คนก่อน นี่คือบันทึกของเขาเกี่ยวกับการย้าย Langford เรียกมันว่าสภาพแวดล้อมที่มุ่งเน้นแต่การขยายขนาด และกล่าวว่าการวิจัยไม่เป็นที่ต้องการ นั่นคือลักษณะเฉพาะของเขา เขายังให้เหตุผลทางธุรกิจด้วย

1:43 การขยายขนาดให้ผลตอบแทนที่คาดเดาได้มากกว่าการวิจัยที่ไม่แน่นอน ฝ่ายการเงินสามารถใส่สิ่งที่คาดเดาได้ลงในสเปรดชีทได้ เขากล่าวว่าแนวทางนั้นมุ่งเน้นไปที่การได้มาและการปรับปรุงข้อมูล ความสนใจของเขาคือความสามารถใหม่ๆ และเทคนิคโมเดลที่ดีขึ้น ความไม่เห็นด้วยคือเกี่ยวกับว่าการทดลองใดสมควรได้รับทรัพยากร และผลลัพธ์ใดที่จะมีโอกาสเป็นประโยชน์ หนึ่งปีก่อนหน้านี้ การประกาศ superintelligence ของ Suleyman

Microsoft บอกว่าการวิจัยสิ้นสุดลงแล้วหรือไม่?

2:05 กล่าวว่าเขาต้องการสถานที่ที่ดีที่สุดในโลกในการวิจัยและสร้าง AI ประกาศ superintelligence ของ Suleyman กล่าวว่าเขาต้องการสถานที่ที่ดีที่สุดในโลกในการวิจัยและสร้าง AI โพสต์ใหม่ของ Langford อธิบายถึงประสบการณ์ของเขาหลังจากการปรับโครงสร้างองค์กร ความทะเยอทะยานเก่าแก่ไม่ได้บ่งบอกถึงสิ่งที่เกิดขึ้นภายในกลุ่มนี้ ยกตัวอย่างเอกสาร Full Bandwidth Transformer โมเดลจะสร้างโทเค็นในแต่ละขั้นตอนการถอดรหัส การออกแบบนี้ยังป้อนสถานะที่ซ่อนอยู่ของเลเยอร์บนสุดก่อนหน้าไปยังอินพุตถัดไป ข้อมูลภายในเดินทางไปพร้อมกับคำที่โมเดลพิมพ์

2:28 ผู้เขียนรายงานการปรับปรุงในโมเดลที่ทดสอบ Langford ถามว่าการลดต้นทุนลงครึ่งหนึ่งจะมีค่าเท่าไร การประหยัดนั้นยังไม่ได้รับการยืนยันที่นี่ พารามิเตอร์ งานการฝึกอบรม และค่าใช้จ่ายในการให้บริการจำเป็นต้องมีการวัดแยกต่างหากก่อนที่ ใครก็ตามจะยกเลิกการสั่งซื้อ GPU ครึ่งหนึ่ง

ทำไม Langford ถึงไม่กลับไป Microsoft Research?

2:42 เหตุผลที่เขาให้สำหรับการลาออกนั้นเป็นเรื่องเร่งด่วนกว่า เขากล่าวว่าเขาไม่สามารถนำนวัตกรรมไปใช้งานจริง หรือแม้แต่ได้รับการพิจารณาอย่างจริงจัง ภายใน Microsoft AI และการกลับไป Microsoft Research ก็รู้สึกเหมือนเผชิญกับเส้นทางที่ถูกบล็อกเดิม การทดลองที่ดีขึ้นนั้นยากที่จะใส่ใจเมื่อจุดหมายต่อไปคือการนำเสนอภายในอีกครั้ง เขายังกล่าวว่าข้อตกลงพื้นฐานได้พังทลายลงแล้ว ทำงานดี แล้วสิ่งดีๆ ก็จะเกิดขึ้น จากมุมมองของเขา รางวัลคือการย้ายที่ไม่ต้องการ

3:06 เขาเขียนว่าสมาชิกผู้นำผู้ก่อตั้งคนอื่นๆ ดูเหมือนจะมาถึงข้อสรุปที่คล้ายกัน คำว่า "ดูเหมือน" นั้นกำลังทำงานอยู่ เขาไม่ได้ให้รายชื่อผู้ที่จากไปที่ได้รับการยืนยันแก่เรา ผู้ใช้ AutoGen มีคำเตือนการบำรุงรักษาที่เป็นรูปธรรม README ปัจจุบันของ AutoGen ระบุว่าโปรเจกต์ถูกเก็บถาวรแล้ว Microsoft กล่าวว่าไม่มีการแก้ไขข้อผิดพลาด การแก้ไขความปลอดภัย หรือการสนับสนุนที่นั่น มันชี้ผู้ใช้ปัจจุบันไปยัง Microsoft Agent Framework และคู่มือการย้ายข้อมูล ตรวจสอบสิ่งนั้นก่อนที่จะนำบทเรียนเก่าไปใช้งานจริง

3:31 คำเตือนนั้นมีอยู่ในที่เก็บข้อมูลแล้วก่อนโพสต์นี้

ผู้ใช้ AutoGen ควรตรวจสอบอะไรตอนนี้?

3:34 มันไม่ได้พิสูจน์ว่าการจากไปนี้ทำให้เกิดการเก็บถาวร และที่เก็บข้อมูลสาธารณะของเฟรมเวิร์กที่ประสบความสำเร็จก็ยังคงอยู่ที่นั่น นำเสนอการจัดระเบียบเอเจนต์สำหรับการผลิต สถานการณ์จริงประกอบด้วยเอกสารวิจัย เครื่องมือที่เก็บถาวร และเครื่องมือที่ Microsoft แนะนำ แต่ละอย่างมีวงจรชีวิตของตัวเอง ตรวจสอบแต่ละวงจรชีวิตแยกต่างหาก โค้ดได้รับการดูแลหรือไม่? เส้นทางการย้ายข้อมูลอยู่ที่ไหน?

3:53 คุณสามารถประเมินงานวิจัยได้หรือไม่? ชื่อบริษัทที่มีชื่อเสียงจะไม่ตอบคำถามเหล่านั้นให้คุณ

ความพยายามในไปป์ไลน์ทั้งสี่นั้นคืออะไร?

3:58 ซึ่งนำเรากลับมาที่ระบบท่อ Langford กล่าวว่า AI Frontiers เก็บ monorepo ที่ใช้ร่วมกันโดยค่าเริ่มต้นทั่ว Microsoft Research ซึ่งรวมถึงไปป์ไลน์การฝึกอบรมโมเดลล่วงหน้า สิ่งนี้มีความสำคัญเพราะกลไกในการทดลองที่น่าเชื่อถือนั้นต้องใช้ งานจำนวนมาก ก่อนที่แนวคิดการวิจัยที่ชาญฉลาดจะถึงคราว เขารู้ถึงความพยายามอย่างน้อยสี่อย่างในการสร้างไปป์ไลน์โมเดล อีกสามอย่าง เขากล่าวว่าไม่ได้อยู่ในที่เก็บข้อมูลที่ใช้ร่วมกันทั่ว Microsoft Research ทีมของเขาถูกแชร์โดยค่าเริ่มต้น

4:23 ประสิทธิภาพขององค์กรได้มาถึงจุดที่ทุกคนมีครัวส่วนกลางเป็นของตัวเอง นั่นคือความล้มเหลวที่บันทึกของเขาเปิดเผย นักวิจัยต้องการโครงสร้างพื้นฐานที่นำกลับมาใช้ใหม่ได้และเส้นทางสู่ผลิตภัณฑ์จริง Langford กล่าวว่ากลุ่มของเขาสร้างโครงสร้างพื้นฐานที่ใช้ร่วมกัน และเขาหมดความเชื่อมั่น ในเส้นทางผลิตภัณฑ์ การปรับโครงสร้างองค์กรเปลี่ยนผู้เป็นเจ้าของกลุ่มของเขา เขาก็ยังจากไป หากคุณต้องการอ่านสิ่งนี้มากกว่าที่จะฟังผมพูด diff จะส่งถึงกล่องจดหมายของคุณ

4:44 ทุกเช้า ฟรีที่ thedailydiff.dev ลิงก์ด้านล่าง

อะไรที่สมควรได้รับคำตัดสิน NEEDS REVIEW?

4:47 ดังนั้นคำตัดสินของวันนี้คือ NEEDS REVIEW ผมต้องการเส้นทางจากงานวิจัยสู่ผลิตภัณฑ์และแผนการบำรุงรักษาก่อนที่จะเรียกสิ่งนี้ว่า การรวมกิจการประสบความสำเร็จ บันทึกของ Langford ทำให้ผมมีเหตุผลที่จะตั้งคำถามทั้งสองอย่าง สมัครสมาชิก กดกระดิ่ง และบอกผมในความคิดเห็นว่าคุณจะประทับตรามัน แตกต่างกันหรือไม่ และนั่นคือ diff ของวันนี้ ผม Niko จาก Axrisi รวมโค้ดอย่างมีความรับผิดชอบ

แหล่งที่มา

1. The End of AI Frontiers — former founder's account and internal-sharing scopeJohn Langford / Machine Learning (Theory)
2. AutoGen README — archived project and successor recommendationMicrosoft / GitHub
3. Microsoft Agent Framework — public successor repositoryMicrosoft / GitHub
4. Full-bandwidth transformer — author-reported design and results, v2Xi Wang and colleagues / arXiv
5. Towards Humanist Superintelligence — November 6, 2025 ambition, no current replyMustafa Suleyman / Microsoft AI
6. Mustafa Suleyman — Microsoft AI identity and biographyMustafa Suleyman
7. Authentic Mustafa portrait — cropped, background removed, resized and unflipped; corporate identity only, no authorship, closure order, current reaction or endorsementVillage Global / Wikimedia Commons
8. Original Village Global Grove photo — November 17, 2022Village Global / Flickr
9. Portrait licence — CC BY 2.0; attribution and adaptation disclosureCreative Commons
10. Spider-Man pointing template — resized with process-commentary caption; brief transformed satire, no identical-code evidence or actual executive reaction; hosting grants no licence, legal clearance or blanket reuseImgflip / Spider-Man cartoon
11. Fantasia broom GIF — Disney/@disney uploader with Disney Tumblr provenance; silent resized short excerpt with narrator-commentary caption, broom brought to life without multiplication claim; no actual executive reaction, hosting licence, legal-clearance or blanket-reuse claimDisney / GIPHY
12. Original Disney GIF source linkDisney / Tumblr
13. Hacker News discussion — attention context, no anonymous claims used as factsHacker News
14. AutoGen README archive clarification — October 16, before Langford's postMicrosoft / GitHub
15. Full-bandwidth transformer paper v2 licence — CC BY 4.0; exact excerpt reformatted, accompanying model diagram conceptualXi Wang and colleagues / Creative Commons