ആർമിൻ റോണാച്ചർ 35 മണിക്കൂർ GPT-6 ആസ്ട്രയെ തനിച്ചാക്കി.

ഈ വീഡിയോയിൽ ഉൾപ്പെടുന്ന കാര്യങ്ങൾ

• ആർമിൻ റോണാച്ചർ: 35 മണിക്കൂർ ശ്രദ്ധയില്ലാത്ത GPT-6 ആസ്ട്ര, ~$1,200, 79 കമ്മിറ്റുകൾ, +75k ലൈനുകൾ, ഒന്നും SHIP IT ചെയ്തില്ല
• ഇയറെൻഡിൽ / സ്ലോപ്പ്‌കോഡ്ബെഞ്ച്: ഏജന്റ് കോഡ് മനുഷ്യ റിപ്പോകളേക്കാൾ ~2× വിസ്തൃതവും നശിച്ചതും; സ്ട്രിക്റ്റ് പാസ് നിരക്ക് 0%
• ക്വസ്മ: RTK 89% ടോക്കണുകൾ ലാഭിച്ചതായി റിപ്പോർട്ട് ചെയ്യുന്നു, എന്നാൽ ഡീപ്‌സീക്കിനൊപ്പം ടെർമിനൽ-ബെഞ്ച് ചെലവുകൾ 17% വർദ്ധിക്കുന്നു; ഒരു റീറൈറ്റ് ലൂപ്പ് തുടർച്ചയായി 339 തവണ പരാജയപ്പെട്ടു
• കോഗ്നിഷൻ SWE-2: കിമി K3-ൽ നിന്ന് പോസ്റ്റ്-ട്രെയിൻ ചെയ്തു, ഫ്രോണ്ടിയർകോഡിൽ ഫേബിൾ 5.1-നെ മൂന്നിലൊന്ന് വിലയ്ക്ക് മറികടക്കുന്നു; TB 2.1 92.8 vs TB 4 27.3; ഡെവിൻ വോയ്സ്
• ഓപ്പൺഎഐ ഏജന്റ്സ് API (ഒരു സേവനമായി കോഡെക്സ് ഹാർനസ്, യുഎസ്-മാത്രം, ZDR ഇല്ല); ആസ്ട്ര ഡിമാൻഡ് കാരണം $200 പ്രോ സൈൻ-അപ്പുകൾ താൽക്കാലികമായി നിർത്തി

വിവർത്തനം ചെയ്ത ട്രാൻസ്ക്രിപ്റ്റ്

യഥാർത്ഥ ഇംഗ്ലീഷ് ആഖ്യാനത്തിൽ നിന്ന് വിവർത്തനം ചെയ്തത്. ലഭ്യമായ ഓഡിയോയും അടിക്കുറിപ്പുകളും YouTube നിയന്ത്രിക്കുന്നു.

0:00 ഫ്ലാസ്ക് എഴുതിയ ആർമിൻ റോണാച്ചർ, GPT-6 ആസ്ട്രക്ക് ഒരു പ്രോംപ്റ്റ് നൽകി മുപ്പത്തിയഞ്ച് മണിക്കൂർ തനിച്ചാക്കി. അത് എഴുപത്തിയയ്യായിരം ലൈൻ കോഡുമായി തിരിച്ചെത്തി, അദ്ദേഹത്തിന്റെ വാക്കുകളിൽ, "വിലപ്പെട്ടതൊന്നുമില്ല" എന്നതായിരുന്നു ഫലം, ഇത് ഇതിനെ ഏറ്റവും യാഥാർത്ഥ്യബോധമുള്ള സോഫ്റ്റ്‌വെയർ ഫാക്ടറിയാക്കുന്നു. അദ്ദേഹം ബുധനാഴ്ച എഴുത്ത് പോസ്റ്റ് ചെയ്തു. വ്യാഴാഴ്ച, കോഗ്നിഷൻ SWE-2 പുറത്തിറക്കി, ഓപ്പൺഎഐ ഒരു ഏജന്റ്സ് API പുറത്തിറക്കി കൂടാതെ അതിന്റെ ഇരുനൂറ് ഡോളർ പ്ലാനിനായുള്ള സൈൻ-അപ്പുകൾ താൽക്കാലികമായി നിർത്തി,

0:24 കാരണം ആസ്ട്ര സെർവറുകളെ തിന്നുതീർത്തു. വെള്ളിയാഴ്ച ഹാക്കർ ന്യൂസിന്റെ മുൻ പേജിൽ ആ എഴുത്ത് എത്തി, ഹാക്കർ ന്യൂസിനോട് AI നെക്കുറിച്ച് പോസ്റ്റ് ചെയ്യുന്നത് നിർത്താൻ ആവശ്യപ്പെടുന്ന ഒരു പോസ്റ്റിന് താഴെയായി. ഈ വീഡിയോയിൽ: ഒന്നര ദിവസത്തെ ശ്രദ്ധയില്ലാത്ത ആസ്ട്ര എന്താണ് ഉത്പാദിപ്പിക്കുന്നത്, പാഴായതിനെ ഒരു സംഖ്യയാക്കി മാറ്റുന്ന രണ്ട് അളവുകൾ, എഴുപത്തിയൊമ്പതിനായിരം സ്റ്റാറുകളുള്ള ഒരു ഉപകരണം നിങ്ങളുടെ ബിൽ എന്തിനാണ് വർദ്ധിപ്പിക്കുന്നത്, കൂടാതെ ഹാക്കർ ന്യൂസ് എങ്ങനെയാണ് AI ഉപയോഗിച്ച് AI നെ ഫിൽട്ടർ ചെയ്യാൻ ശ്രമിച്ചത്. ഇന്ന് സെപ്റ്റംബർ 11 വെള്ളിയാഴ്ചയാണ്, ഇത് The Daily Diff.

0:53 ഫാക്ടറി. ഒരു പ്രോംപ്റ്റ്: വെർച്വൽ ത്രെഡുകളും ലെക്സിക്കൽ സ്കോപ്പിംഗും ഉള്ള ഒരു പൈത്തൺ നിർമ്മിക്കുക. ആസ്ട്ര സ്വന്തം കുറിപ്പുകൾ സൂക്ഷിച്ചു, സ്വന്തം സബ് ഏജന്റുകളെ തിരഞ്ഞെടുത്തു, ആർമിൻ പ്ലഗ് ഊരുന്നത് വരെ പ്രവർത്തിച്ചു, ഒന്നര ദിവസവും ഏകദേശം പന്ത്രണ്ട് നൂറ് ഡോളറുകളും കഴിഞ്ഞ്. എഴുപത്തിയൊമ്പത് കമ്മിറ്റുകൾ, അങ്ങനെ ഓരോ കമ്മിറ്റിനും പതിനഞ്ച് അര ഡോളർ, ഇത് ഒരു മനുഷ്യൻ ഈടാക്കുന്നതിന് ഏകദേശം തുല്യമാണ്, മനുഷ്യൻ ഒടുവിൽ നിർത്തുന്നു എന്നതൊഴിച്ചാൽ. കോഡാണ് കഥ. എഡിറ്റ് ടൂളിന് പകരം, ആസ്ട്ര C ഫയലുകൾ പാച്ച് ചെയ്യുന്നത് പൈത്തൺ ഹെറെഡോക്കുകൾ ഉപയോഗിച്ചാണ്, അവ ഫയൽ വായിക്കുകയും ഒരു ഫംഗ്ഷൻ സ്ട്രിംഗ്-റീപ്ലേസ് ചെയ്യുകയും അത് തിരികെ എഴുതുകയും ചെയ്യുന്നു.

1:20 ഒരു വിൻഡോസ് ടെസ്റ്റ് പ്രവർത്തിപ്പിക്കാൻ അത് പൈത്തൺ എഴുതി, അത് നോഡിനെ സ്പോൺ ചെയ്തു, അത് പവർഷെല്ലിനെ സ്പോൺ ചെയ്തു, ഒരു പാസ്പോർട്ടുമായി ഒരു കോൾ സ്റ്റാക്ക്. അത് കമ്മിറ്റ് ചെയ്ത യൂണിറ്റ് ടെസ്റ്റുകളിൽ വൈറ്റ്സ്പേസ് ഇല്ലായിരുന്നു, കാരണം ഇൻഡെന്റേഷൻ ഇല്ലാതെ അവ ടോക്കണുകളിൽ പത്ത് ശതമാനം വില കുറവാണ്. ടാസ്ക് ലിസ്റ്റ് ഒന്ന്, രണ്ട്, മൂന്ന് എന്നിവയിൽ നിന്ന് ടാസ്ക് 8b2c2b2b ചെക്ക്പോയിന്റ് ഒന്നിലേക്ക് മാറി, ഇന്റേൺ കൂടുതൽ കാലം തനിച്ചായിരുന്നു എന്ന് ഇത് കാണിക്കുന്നു. ആർമിന്റെ സിദ്ധാന്തം: ദീർഘകാല ടാസ്ക്കുകൾ പൂർത്തിയാക്കുന്നതിന് മോഡലിന് പ്രതിഫലം ലഭിക്കുന്നു, വൃത്തികെട്ട കോഡിന് വളരെ കുറഞ്ഞ ശിക്ഷയേ ഉള്ളൂ, അതിനാൽ ടോക്കൺ-ഗോൾഫ് ചെയ്ത ടൂൾ കോളുകൾ കോഡ്ബേസിലേക്ക് വ്യാപിക്കുന്നു,

1:48 മനുഷ്യർ എത്ര കുറവ് നോക്കുന്നുവോ, അത്രയും കുറവ് കാര്യമാവുന്നു. അദ്ദേഹം ആ വിഭാഗത്തിന് 'നോക്കിയില്ലെങ്കിൽ അത് AGI ആണ്' എന്ന് തലക്കെട്ട് നൽകി. ഹാക്കർ ന്യൂസ് സാമ്പത്തിക വശം ചേർത്തു: കൂടുതൽ കോഡ് എന്നാൽ അത് പരിപാലിക്കാൻ കൂടുതൽ ടോക്കണുകൾ, ഇത് പാഴായതിനെ ഒരു ബഗ് അല്ല, മറിച്ച് ഒരു സബ്സ്ക്രിപ്ഷനാക്കുന്നു. പാഴായതിനെ അളക്കാൻ കഴിയുമോ? ആർമിന്റെ സ്വന്തം കമ്പനി ഈ ആഴ്ച ഇത് പരീക്ഷിച്ചു. ഇയറെൻഡിൽ സ്ലോപ്പ്‌കോഡ്ബെഞ്ച് നമ്പറുകൾ പ്രവർത്തിപ്പിച്ചു: ഏജന്റ് കോഡ് ഏകദേശം ഇരട്ടി വിസ്തൃതവും അത് താരതമ്യം ചെയ്ത മനുഷ്യ റിപ്പോകളേക്കാൾ ഇരട്ടി നശിച്ചതുമാണ്,

2:10 കൂടാതെ ബെഞ്ച്മാർക്ക് ചെക്ക്പോയിന്റുകൾക്കിടയിൽ ഏജന്റിന്റെ മെമ്മറി മായ്ക്കുമ്പോൾ, അവർ പരീക്ഷിച്ച എല്ലാ മോഡലുകൾക്കും സ്ട്രിക്റ്റ് പാസ് നിരക്ക് പൂജ്യമാണ്. അവർ കണ്ടെത്തിയ ഏറ്റവും വിശ്വസനീയമായ പാഴ് മെട്രിക് റോ ലൈൻ കൗണ്ട് ആയിരുന്നു, ആരെങ്കിലും അതിനായി ഒപ്റ്റിമൈസ് ചെയ്യുന്ന നിമിഷം ഇത് പ്രവർത്തിക്കുന്നത് നിർത്തുന്നു, അതുകൊണ്ട് മോഡലുകളോട് ദയവായി പറയരുത്. പിന്നെ പണം. RTK-ക്ക് എഴുപത്തിയൊമ്പതിനായിരം GitHub സ്റ്റാറുകളും നിങ്ങളുടെ ക്ലോഡ് കോഡ് ബിൽ പകുതിയാക്കാമെന്ന് വാഗ്ദാനം ചെയ്യുന്ന YouTube ലഘുചിത്രങ്ങളും ഉണ്ട്; ഏജന്റ് വായിക്കുന്നതിന് മുമ്പ് ടെർമിനൽ ഔട്ട്പുട്ട് കംപ്രസ് ചെയ്യുന്നു. ക്വസ്മ അത് ടെർമിനൽ-ബെഞ്ചിൽ

2:34 പതിനഞ്ചുനൂറ് ഡോളർ ടോക്കണുകൾക്ക് പ്രവർത്തിപ്പിച്ചു. ഫേബിളിനൊപ്പം ബിൽ അഞ്ച് ശതമാനം കുറഞ്ഞു, ഏകദേശം എല്ലാം ഒരു ടാസ്കിൽ നിന്ന്; ഡീപ്‌സീക്കിനൊപ്പം ശരാശരി ടാസ്കിന് പതിനേഴ് ശതമാനം കൂടുതൽ ചെലവായി. അതേസമയം RTK-യുടെ സ്വന്തം കൗണ്ടർ എൺപത്തിയൊമ്പത് ശതമാനം ലാഭം രേഖപ്പെടുത്തി, കാരണം അത് നീക്കം ചെയ്ത ബൈറ്റുകൾ കണക്കാക്കുന്നു, അല്ലാതെ അധിക ഊഴങ്ങൾ ഉണ്ടാക്കിയതല്ല: അയൽവാസിക്ക് ബിൽ ചെയ്യുന്ന ഒരു സ്മാർട്ട് മീറ്റർ. അയൽവാസിക്ക് ബിൽ ചെയ്യുന്ന ഒരു സ്മാർട്ട് മീറ്റർ. ഒരു വെർഷൻ ബഗ് 'കണ്ടെത്തുക' എന്നതിനെ ഒരു പരാജയപ്പെട്ട കമാൻഡിലേക്ക് മാറ്റി എഴുതി, തുടർച്ചയായി മുന്നൂറ്റിമുപ്പത്തിയൊമ്പത് തവണ, ഒമ്പതിരട്ടി വിലയ്ക്ക്.

3:01 ടോക്കണുകൾ നശിപ്പിക്കുന്ന ഉപകരണത്തിന് ഒരു ലൂപ്പ് ഉണ്ട്. പ്രളയം തന്നെ. കോഗ്നിഷന്റെ SWE-2 എന്നത് കിമി K3 ആണ്, ഓപ്പൺ ചൈനീസ് മോഡൽ, കോഗ്നിഷന്റെ സ്വന്തം ബെഞ്ച്മാർക്കിൽ ഫേബിൾ 5.1-നെ മൂന്നിലൊന്ന് വിലയ്ക്ക് മറികടക്കുന്നത് വരെ പോസ്റ്റ്-ട്രെയിൻ ചെയ്തു; ഹാക്കർ ന്യൂസ്: എന്തിനാണ് എല്ലാ അമേരിക്കൻ AI മോഡലുകളും അടിസ്ഥാനപരമായി ട്രെഞ്ച് കോട്ടിലെ കിമി. ട്രെഞ്ച് കോട്ടിലെ കിമി. ടെർമിനൽ-ബെഞ്ച് 2.1-ൽ അത് മുഴുവൻ പട്ടികയിലും മുന്നിലാണ്; ടെർമിനൽ-ബെഞ്ച് 4-ൽ, ഇതുവരെ ആരും മനഃപാഠമാക്കിയിട്ടില്ലാത്തതിൽ, ഫേബിളിന്റെ അൻപത്തിയാറിനെതിരെ ഇരുപത്തിയേഴ് സ്കോർ ചെയ്തു,

3:28 അതുകൊണ്ട് സ്ലൈഡ്-ഡെക്ക് ബെഞ്ച്മാർക്കുകളിൽ ഏറ്റവും മികച്ച കോളം എല്ലാവരും പാസായ പരീക്ഷയാണ്. കോഗ്നിഷൻ ഡെവിൻ വോയിസും പ്രഖ്യാപിച്ചു, നിങ്ങളുടെ പ്രിയപ്പെട്ട AI സോഫ്റ്റ്‌വെയർ എഞ്ചിനീയർക്ക് ഒരു ലാൻഡ്‌ലൈൻ ലഭിച്ചു, കാരണം ഏജന്റിക കോഡിംഗിൽ ഇല്ലാതിരുന്ന ഒരേയൊരു കാര്യം ഹോൾഡ് മ്യൂസിക് ആയിരുന്നു. ഓപ്പൺഎഐ, അതേ ദിവസം: ഏജന്റ്സ് API, ഇത് ഒരു സേവനമായി വിൽക്കുന്ന കോഡെക്സ് ഹാർനസ് ആണ്. ഓപ്പൺഎഐ സാൻഡ്‌ബോക്സ് പ്രവർത്തിപ്പിക്കുന്നു, യുഎസ് ഡാറ്റാ റെസിഡൻസി മാത്രം, സീറോ-ഡാറ്റ-റിട്ടൻഷൻ ഇല്ല, അതുകൊണ്ട് ChatGPT ചെയ്യുന്നതുപോലെ തന്നെ ഏജന്റ് നിങ്ങളുടെ കോഡ്ബേസ് ഓർമ്മിക്കുന്നു. പിന്നെ ഓപ്പൺഎഐ ഇരുനൂറ് ഡോളർ പ്രോ പ്ലാനിനായുള്ള സൈൻ-അപ്പുകൾ താൽക്കാലികമായി നിർത്തി,

3:57 കാരണം ആസ്ട്ര ഡിമാൻഡ്, ഉദ്ധരണി, അഭൂതപൂർവമാണ്: കൂടുതൽ പണം നൽകാൻ ഒരു വെയിറ്റ്ലിസ്റ്റുള്ള ആദ്യത്തെ ഉൽപ്പന്നം. കൂടുതൽ പണം നൽകാൻ. ആർമിൻ തന്റെ ഫാക്ടറിയിൽ ഒരു മുഴുവൻ റീസെറ്റ് ചെയ്തു. അദ്ദേഹമാണ് ഡിമാൻഡ്. ഇത് വെള്ളിയാഴ്ചത്തെ Ask HN-ലേക്ക് നമ്മളെ എത്തിക്കുന്നു: AI വാർത്താ പ്രളയം പരിമിതപ്പെടുത്താൻ കഴിയുമോ, അറുനൂറ്റി അമ്പത്തിയാറ് പോയിന്റുകൾ, കാരണം, ഉദ്ധരണി, ഓപ്പൺഎഐയിലോ ആന്ത്രോപികയിലോ ആരെങ്കിലും ഒന്ന് തുമ്മിയാൽ, ഒരു ടോപ്പ്-ടെൻ പോസ്റ്റ് ഉണ്ടാകും.

4:17 മറുപടികൾ ഫിൽട്ടറുകളായിരുന്നു: hcker ഡോട്ട് ന്യൂസ് എണ്ണായിരം ഉദാഹരണങ്ങളിൽ പരിശീലിപ്പിച്ച ഒരു BERT ക്ലാസിഫയർ ഉപയോഗിച്ച് AI സ്റ്റോറികൾ നീക്കം ചെയ്യുന്നു, AI നെ ഇല്ലാതാക്കാൻ AI, പുല്ല് തീറ്റ; കൂടാതെ കേസ്-ഇൻസെൻസിറ്റീവായി A-I നെ പൊരുത്തപ്പെടുത്തുന്ന ഒരു uBlock റെഗുലർ എക്സ്പ്രഷൻ ഇമെയിൽ, ഡെയിലി, മെയിൻ, ഡൊമെയ്ൻ, ട്രെയിൻ എന്നിവയും ഇല്ലാതാക്കുന്നു, അതിനാൽ റെഗുലർ എക്സ്പ്രഷൻ, പതിവുപോലെ, വില്ലനാണ്. അതേ ഉച്ചയ്ക്ക്, നാനൂറ്റി പതിനഞ്ച് കമന്റുകൾ ക്ലോഡ് പതിനെട്ട്-പ്ലസ് ആണെന്ന് പറയുന്ന ഒരു ക്ലോഡ് സപ്പോർട്ട് പേജിനെക്കുറിച്ച് വാദിച്ചു.

4:38 പേജ് മെയ് മാസത്തേതാണ്. ഒന്നും മാറിയില്ല. വാർത്ത അല്ലാത്ത AI വാർത്ത പോലും വാർത്തയാണ്, ഇത്, സത്യം പറഞ്ഞാൽ, എന്റെ ബിസിനസ് മോഡൽ കൂടിയാണ്. ഞാൻ ഇത് പറയുന്നത് കേൾക്കുന്നതിലും നല്ലത് ഇത് വായിക്കാനാണെങ്കിൽ, ഡിഫ് എല്ലാ രാവിലെയും നിങ്ങളുടെ ഇൻബോക്സിൽ എത്തുന്നു — daily diff ഡോട്ട് ഡെവിൽ സൗജന്യമായി, ലിങ്ക് താഴെ. ഇത്, ഒഴിവാക്കാനാവാതെ, AI വാർത്തയാണ്. അതുകൊണ്ട് — മുപ്പത്തിയഞ്ച് മണിക്കൂർ സോഫ്റ്റ്‌വെയർ ഫാക്ടറിയുടെ ഇന്നത്തെ വിധി: REVERT. ആരും വായിക്കാത്ത എഴുപത്തിയൊമ്പത് കമ്മിറ്റുകൾ ഒരു കോഡ്ബേസ് അല്ല, അത് ഒരു git

5:04 ലോഗോടുകൂടിയ ഒരു ബാധ്യതയാണ്; ആസ്ട്ര ആകർഷകമാണ്, ഫാക്ടറിയാണ് പിന്നോട്ട് പോകേണ്ട ഭാഗം. അതാണ് ഇന്നത്തെ ഡിഫ്. ഞാൻ Axrisi-ൽ നിന്നുള്ള Niko ആണ്. Merge responsibly.

ഉറവിടങ്ങൾ

1. Armin Ronacher — Astra for Coding: Why Are We Doing This Again?lucumr.pocoo.org
2. HN: Astra for Codingnews.ycombinator.com
3. Earendil — Measuring the sloppiness of codeearendil.com
4. HN: Measuring the sloppiness of codenews.ycombinator.com
5. Quesma — RTK reports huge token savings, but our cost benchmarks disagreequesma.com
6. HN: RTKnews.ycombinator.com
7. RTK (Rust Token Killer)github.com
8. Cognition — Introducing SWE-2cognition.com
9. HN: Cognition SWE-2news.ycombinator.com
10. OpenAI — Agents APIdevelopers.openai.com
11. HN: OpenAI Agents APInews.ycombinator.com
12. TechCrunch — OpenAI puts Pro subscriptions on hold due to Astra demandtechcrunch.com
13. Ask HN: Can we please limit the AI news flood?news.ycombinator.com
14. HN: Claude is only available to people over 18 yearsnews.ycombinator.com