Microsoft AI Frontiers: Расповед Лэнгфарда пра рэарганізацыю і агульныя даследчыя канвееры

Што ахоплівае гэта відэа

• Лэнгфард кажа, што пераход у Microsoft AI у пачатку верасня супярэчыў яго даследчым прыярытэтам, і ён сышоў.
• Каля пяцідзесяці - гэта яго ацэнка памеру групы; у артыкуле згадваюцца людзі, якія засталіся, і не прыводзіцца падлік звальненняў.
• Яго група выкарыстоўвала манарэпазіторый у рамках Microsoft Research; ён паведамляе пра як мінімум чатыры намаганні па канвеерах навучання, прычым тры іншыя знешнія рэпазіторыі былі агульнымі для ўсяго MSR.
• Трансформер Full-bandwidth пераносіць папярэдні схаваны стан разам з sampled токенам у наступны ўваход; агульная эканомія выдаткаў тут застаецца неўстаноўленай.
• Архіўны README AutoGen рэкамендуе Microsoft Agent Framework; папярэджанне аб архіваванні папярэднічае блогу і мае асобную храналогію.

Перакладзеная стэнаграма

Перакладзена з арыгінальнай англійскай агучкі. Даступнае аўдыя і субтытры кантралююцца YouTube.

Чаму Microsoft AI Frontiers разваліўся?

0:00 Даследчая лабараторыя штучнага інтэлекту ў Microsoft павінна мець будучыню. Яе сузаснавальнік кажа, што AI Frontiers скончана, і ён сышоў. У гэтым відэа, чаму ён сышоў? І пры чым тут чатыры канвееры навучання? Вось ранні адказ. Джон Лэнгфард кажа, што пераход у Microsoft AI у верасні зрабіў яго даследаванні несумяшчальнымі з новымі прыярытэтамі. Ён сышоў. Ягоны расповед пра гэтыя чатыры канвееры тлумачыць, чаму аб'яднанне ўсіх

0:22 пад адным кіраўніком усё яшчэ можа не вырашыць праблему. Гэта нядзеля, восьмага лістапада, і гэта The Daily Diff. AI Frontiers была даследчай групай у Microsoft Research, створанай пасля з'яўлення ChatGPT. Лэнгфард ацэньвае яе памер прыкладна ў пяцьдзесят чалавек. Яна працавала над агентамі і новымі метадамі мадэлявання. Microsoft AI - гэта асобная арганізацыя, у якую яна была пераведзена, паводле яго расповеду.

0:42 Ягоны пост ад шостага лістапада выглядае як

Навошта арганізоўваць даследчую групу пасля ChatGPT?

0:44 даследчык, які тлумачыць, чаму ён нарэшце сышоў. Ён кажа, што стараўся як мага лепш уладкаваць сваіх людзей перад сыходам, і жадае ўсяго найлепшага тым, хто застаўся. Такая фармулёўка важная. У нас ёсць яго расповед пра сыход, пры гэтым калегі ўсё яшчэ там. Яшчэ ў дзве тысячы дваццаць трэцім годзе ягонай скаргай была хуткасць. Адзін даследчык мог прыйсці позна з слабымі параўнаннямі. Група аб'ядноўвала намаганні для больш моцных эксперыментаў.

1:06 Нават вашаму прарыву патрэбны базавы ўзровень, які можа дазволіць сабе электрычнасць. Некаторая праца дайшла да распрацоўшчыкаў. Лэнгфард называе AutoGen, фрэймворк для каардынацыі агентаў. Ёсць таксама публічныя даследчыя працы па мадэлях, дзе ён сярод аўтараў. Гэтая група выпусціла працу для абароны разам са сваёй заявай аб місіі. Затым ідзе рэарганізацыя.

Што змянілася, калі AI Frontiers перайшоў у Microsoft AI?

1:23 Лэнгфард кажа, што AI Frontiers перайшоў у Microsoft AI у пачатку верасня. Мустафа Сулейман, раней з Inflection, кіруе гэтай арганізацыяй. Лэнгфард апісвае сутыкненне з былым кіраўніцтвам Inflection. Гэта ягоны расповед пра пераезд. Лэнгфард называе гэта асяроддзем, арыентаваным толькі на маштабаванне, і кажа, што даследаванні былі непажаданымі. Гэта яго характарыстыка. Ён таксама прыводзіць бізнес-аргумент.

1:43 Маштабаванне прапануе больш прадказальныя прыбыткі, чым нявызначаныя даследаванні. Фінансавы аддзел можа ўнесці прадказальныя дадзеныя ў табліцу. Ён кажа, што гэты падыход засяроджаны на зборы і ўдасканаленні дадзеных. Яго цікавілі новыя магчымасці і лепшыя метады мадэлявання. Разноглассе было наконт таго, якія эксперыменты заслугоўваюць рэсурсаў, і якія вынікі атрымаюць шанец стаць карыснымі. Год таму аб'ява Сулеймана аб суперінтэлекце

Ці кажа Microsoft, што даследаванні скончаны?

2:05 гаварыла, што ён хацеў лепшае месца ў свеце для даследаванняў і стварэння штучнага інтэлекту. Новы пост Лэнгфарда апісвае яго досвед пасля рэарганізацыі. Гэтая старая амбіцыя не ўстанаўлівае, што адбылося ў гэтай групе. Возьмем артыкул Full Bandwidth Transformer. Мадэль стварае токен на кожным кроку дэкадавання. Гэты дызайн таксама падае схаваны стан папярэдняга верхняга слоя ў наступны уваход. Унутраная інфармацыя перадаецца разам са словам, якое надрукавала мадэль.

2:28 Аўтары паведамляюць пра паляпшэнні ў пратэставаных мадэлях. Лэнгфард пытаецца, што можа каштаваць зніжэнне выдаткаў напалову. Гэтая эканомія тут застаецца неўстаноўленай. Параметры, праца па навучанні і выдаткі на абслугоўванне патрабуюць асобных вымярэнняў, перш чым хтосьці адменіць палову свайго заказу на GPU.

Чаму Лэнгфард не вярнуўся ў Microsoft Research?

2:42 Прычына, якую ён называе для сыходу, больш непасрэдная. Ён кажа, што не змог укараніць інавацыі або нават сур'ёзна разгледзець іх, у Microsoft AI. І вяртанне ў Microsoft Research здавалася сутыкненнем з тым жа самым заблакаваным шляхам. Пра лепшы эксперымент цяжка клапаціцца, калі яго наступным пунктам прызначэння з'яўляецца іншая унутраная прэзентацыя. Ён таксама кажа, што асноўная дамова парушылася. Рабі добра, і добрае адбудзецца. З ягонага пункту гледжання, узнагародай быў непажаданы перавод.

3:06 Ён піша, што кожны іншы заснавальнік кіраўніцтва, здаецца, прыйшоў да аналагічнага вываду. Гэта "здаецца" выконвае працу. Ён не дае нам праверанага спісу сыходаў. Карыстальнікі AutoGen маюць канкрэтнае папярэджанне аб абслугоўванні. Цяперашні файл Readme AutoGen паведамляе, што праект архіваваны. Microsoft кажа, што не забяспечвае выпраўленняў памылак, выпраўленняў бяспекі або падтрымкі там. Ён накіроўвае існуючых карыстальнікаў да Microsoft Agent Framework і кіраўніцтва па міграцыі. Праверце гэта, перш чым выкарыстоўваць стары падручнік у вытворчасці.

3:31 Гэтае папярэджанне ўжо было ў рэпазіторыі да гэтага паведамлення.

Што цяпер павінен праверыць карыстальнік AutoGen?

3:34 Яно не даказвае, што гэты сыход выклікаў архіваванне. І публічны рэпазіторый наступнага фрэймворка ўсё яшчэ існуе, прапаноўваючы аркестрацыю агентаў для вытворчасці. Фактычная сітуацыя ўключае даследчыя працы, архіваваны інструмент і рэкамендаваны Microsoft пераемнік. Кожны з іх мае свой жыццёвы цыкл. Праверце кожны жыццёвы цыкл асобна. Ці падтрымліваецца код? Дзе шлях міграцыі?

3:53 Ці можна ацаніць даследаванне? Вядомае імя кампаніі не адкажа на гэтыя пытанні за вас.

Што гэта былі за чатыры намаганні канвеера?

3:58 Што вяртае нас да сантэхнікі. Лэнгфард кажа, што AI Frontiers захоўвала манарэпазіторый, які па змаўчанні быў агульным для ўсёй Microsoft Research. Ён уключаў канвеер папярэдняй падрыхтоўкі мадэлі. Гэта важна, таму што механізм для правядзення пераканаўчых эксперыментаў патрабуе значнай працы, перш чым да геніяльнай даследчай ідэі дойдзе чарга. Ён ведае пра як мінімум чатыры намаганні па стварэнні мадэльных канвеераў. Астатнія тры, паводле яго слоў, не знаходзіліся ў рэпазіторыях, агульных для ўсёй Microsoft Research. Ягоная каманда дзялілася па змаўчанні.

4:23 Карпаратыўная эфектыўнасць дасягнула таго этапу, калі кожны атрымлівае сваю ўласную агульную кухню. Гэта тая няўдача, якую выкрывае ягоны расповед. Даследчыкам патрэбна шматразовая інфраструктура і шлях да рэальных прадуктаў. Лэнгфард кажа, што яго група стварыла агульную інфраструктуру, і ён страціў упэўненасць у прадуктовым шляху. Рэарганізацыя змяніла, хто валодаў ягонай групай. Ён усё роўна сышоў. Калі вы аддаеце перавагу прачытаць гэта, а не чуць мяне, то "diff" трапляе ў вашу паштовую скрыню

4:44 кожную раніцу, бясплатна на the daily diff dot dev, спасылка ніжэй.

Што заслугоўвае вердыкта NEEDS REVIEW?

4:47 Такім чынам, сённяшні вердыкт: NEEDS REVIEW. Я хацеў бы мець шлях ад даследаванняў да прадукту і план абслугоўвання, перш чым назваць гэтую кансалідацыю паспяховай. Расповед Лэнгфарда дае мне падставы сумнявацца ў абодвух. Падпішыцеся, націсніце на званочак і скажыце мне ў каментарах, калі б вы пазначылі яго інакш. І гэта "diff" на сёння. Я Ніка з Axrisi. Аб'ядноўвайце адказна.

Крыніцы

1. The End of AI Frontiers — former founder's account and internal-sharing scopeJohn Langford / Machine Learning (Theory)
2. AutoGen README — archived project and successor recommendationMicrosoft / GitHub
3. Microsoft Agent Framework — public successor repositoryMicrosoft / GitHub
4. Full-bandwidth transformer — author-reported design and results, v2Xi Wang and colleagues / arXiv
5. Towards Humanist Superintelligence — November 6, 2025 ambition, no current replyMustafa Suleyman / Microsoft AI
6. Mustafa Suleyman — Microsoft AI identity and biographyMustafa Suleyman
7. Authentic Mustafa portrait — cropped, background removed, resized and unflipped; corporate identity only, no authorship, closure order, current reaction or endorsementVillage Global / Wikimedia Commons
8. Original Village Global Grove photo — November 17, 2022Village Global / Flickr
9. Portrait licence — CC BY 2.0; attribution and adaptation disclosureCreative Commons
10. Spider-Man pointing template — resized with process-commentary caption; brief transformed satire, no identical-code evidence or actual executive reaction; hosting grants no licence, legal clearance or blanket reuseImgflip / Spider-Man cartoon
11. Fantasia broom GIF — Disney/@disney uploader with Disney Tumblr provenance; silent resized short excerpt with narrator-commentary caption, broom brought to life without multiplication claim; no actual executive reaction, hosting licence, legal-clearance or blanket-reuse claimDisney / GIPHY
12. Original Disney GIF source linkDisney / Tumblr
13. Hacker News discussion — attention context, no anonymous claims used as factsHacker News
14. AutoGen README archive clarification — October 16, before Langford's postMicrosoft / GitHub
15. Full-bandwidth transformer paper v2 licence — CC BY 4.0; exact excerpt reformatted, accompanying model diagram conceptualXi Wang and colleagues / Creative Commons