GPT-6 അസ്ത്ര മറ്റൊരു AI-യുടെ അനന്തമായ ചിന്തയെ പരിഹരിച്ചു

ഈ വീഡിയോയിൽ ഉൾപ്പെടുന്ന കാര്യങ്ങൾ

• റിപ്പോർട്ട് ചെയ്ത Qwen സ്കോർ വർദ്ധനവ് ആവർത്തിച്ചുള്ള യുക്തിപരമായ ചിന്തയുടെ ലക്ഷ്യം വെച്ചുള്ള ഒരു അറ്റകുറ്റപ്പണിയിൽ നിന്നാണ് വന്നത്; എഡിറ്റ് ചെയ്ത ഉത്തരങ്ങളിൽ ഏകദേശം മൂന്നിലൊന്ന് പ്രാഥമിക പ്രോട്ടോക്കോളിൽ ദൈർഘ്യ പരിധിയിലെത്തി.
• ഗ്രേഡിയന്റ് പരിശീലനം നിരോധിച്ചിരുന്നു, അതേസമയം പൈത്തൺ, പരിശീലന ഉത്തരങ്ങൾ, ബാച്ച് ചെയ്ത മോഡൽ-റൺ ഫീഡ്‌ബാക്ക് എന്നിവ നിരവധി തവണ അനുവദിച്ചിരുന്നു. അന്തിമ മൂല്യനിർണ്ണയ ചോദ്യങ്ങൾ ഉറവിടം വഴി പുറത്തുനിർത്താൻ പ്രഖ്യാപിച്ചു.
• ചെറിയ അസംസ്കൃത-വെയ്റ്റ്, നോ-റോളൗട്ട് ഗെയിം പരീക്ഷണങ്ങൾ വ്യത്യസ്ത സാഹചര്യങ്ങളാണ് ഉപയോഗിച്ചത്. അവയുടെ അവകാശവാദങ്ങൾ അവയുടെ വ്യക്തിഗത ഉപകരണം, ഇൻപുട്ട്, ബേസ്‌ലൈൻ സ്കോപ്പ് എന്നിവ നിലനിർത്തണം.
• മാത്യു ഹോണിബാൽ ടൂൾ-അസിസ്റ്റഡ് എഞ്ചിനീയറിംഗിന് ക്രെഡിറ്റ് നൽകുകയും പരീക്ഷണങ്ങൾ കൂട്ടിച്ചേർത്ത് ഉൽപ്പാദിപ്പിക്കുന്ന വിശാലമായ ധാരണയെ എതിർക്കുകയും ചെയ്യുന്നു.
• ചെറിയ Gemma ഫോളോ-അപ്പ് അതിന്റേതായ സജ്ജീകരണം ഉപയോഗിച്ചു, ഒരു പുരോഗതി സ്ഥാപിക്കുന്നതിൽ പരാജയപ്പെട്ടു. ഒരു വെയ്റ്റ് എഡിറ്റ് മറ്റൊരു മോഡലിൽ പ്രയോഗിക്കുന്നതിന് മുമ്പ് അത് ഏത് പരാജയത്തെയാണ് നന്നാക്കുന്നതെന്ന് പരിശോധിക്കുക.

വിവർത്തനം ചെയ്ത ട്രാൻസ്ക്രിപ്റ്റ്

യഥാർത്ഥ ഇംഗ്ലീഷ് ആഖ്യാനത്തിൽ നിന്ന് വിവർത്തനം ചെയ്തത്. ലഭ്യമായ ഓഡിയോയും അടിക്കുറിപ്പുകളും YouTube നിയന്ത്രിക്കുന്നു.

എന്തുകൊണ്ടാണ് കണക്ക് സ്കോർ ഉയർന്നത്?

0:00 ഒരു AI മറ്റൊരു AI-യെ ആറ് മടങ്ങ് മിടുക്കനാക്കുന്നത് ഒരു തൽക്ഷണ പ്രതിഭയെപ്പോലെയാണ്. അസ്ത്രയുടെ വലിയ സ്കോർ കുതിച്ചുചാട്ടം Qwen-നെ ആവർത്തിച്ച് കൊണ്ടിരുന്ന ഉത്തരങ്ങൾ പൂർത്തിയാക്കാൻ സഹായിച്ചതിലൂടെയാണ് ഉണ്ടായത്. ഈ വീഡിയോയിൽ, എന്താണ് മാറിയത്? അസ്ത്രയ്ക്ക് എന്ത് സഹായമാണ് ലഭിച്ചത്? പരിഹാരം എത്ര ദൂരം സഞ്ചരിക്കുന്നു? Qwen ഏകദേശം എട്ട് ശതമാനത്തിൽ നിന്ന് നാൽപ്പത്തിയെട്ട് ശതമാനമായി ഉയർന്നു. ഗവേഷകർ, ലൂപ്പുകൾ ഇല്ലാത്ത രണ്ടാമതൊരു മോഡൽ പരീക്ഷിച്ചു. വിധിക്ക് മുമ്പ് അത് എങ്ങനെ പോയി എന്ന് നമുക്ക് കാണാം.

0:22 ഇന്ന് നവംബർ മൂന്ന് ചൊവ്വാഴ്ചയാണ്, ഇത് The Daily Diff ആണ്. ഒരു AI-യോട് ഒരു ന്യൂറൽ നെറ്റ്‌വർക്കിനുള്ളിലെ സംഖ്യകൾ പരിശോധിക്കാനോ എഴുതാനോ ആവശ്യപ്പെടുന്നതിനാണ് ഗവേഷകർ 'വെയ്റ്റ്-സ്പേസ് പ്രോഗ്രാമിംഗ്' എന്ന് പേരിട്ടിരിക്കുന്നത്. ന്യൂറൽ നെറ്റ്‌വർക്കിനുള്ളിലെ സംഖ്യകൾ പരിശോധിക്കാനോ എഴുതാനോ ഒരു AI-യോട് ആവശ്യപ്പെടുന്നതിന് ഗവേഷകർ 'വെയ്റ്റ്-സ്പേസ് പ്രോഗ്രാമിംഗ്' എന്ന് പേരിട്ടിരിക്കുന്നു. ആ സംഖ്യകളാണ് അതിന്റെ വെയ്റ്റുകൾ. ഈ MIT-യുമായി അഫിലിയേറ്റ് ചെയ്ത സംഘം ഒരു ചെറിയ Qwen ഭാഷാ മോഡൽ എഡിറ്റ് ചെയ്യാൻ OpenAI-യുടെ GPT-6 Astra ഉപയോഗിച്ചു, സാധാരണ പരിശീലനം നിരോധിച്ചിരുന്നു. ഈ MIT-യുമായി അഫിലിയേറ്റ് ചെയ്ത സംഘം ഒരു ചെറിയ Qwen ഭാഷാ മോഡൽ എഡിറ്റ് ചെയ്യാൻ OpenAI-യുടെ GPT-6 Astra ഉപയോഗിച്ചു, സാധാരണ പരിശീലനം നിരോധിച്ചിരുന്നു. റിക്കിയ ടക്കേഹിയും അദ്ദേഹത്തിന്റെ സഹപ്രവർത്തകരും തിങ്കളാഴ്ച പഠനം പ്രസിദ്ധീകരിച്ചു,

0:44 നിലവിലുള്ള ഒരു AI-ക്ക് മറ്റൊരു നെറ്റ്‌വർക്കിന്റെ ഇന്റേണലുകളെക്കുറിച്ച് ചിന്തിക്കാൻ കഴിയുമോ എന്ന് ചോദിച്ചു. അവരുടെ പ്രധാന ഫലം വളരെ ക്ലിക്ക് ചെയ്യാൻ പ്രേരിപ്പിക്കുന്നതാണ്. മാത്ത് അഞ്ഞൂറിൽ, Qwen ഏകദേശം എട്ട് ശതമാനത്തിൽ നിന്ന് നാൽപ്പത്തിയെട്ട് ശതമാനമായി ഉയർന്നു. ഏകദേശം ആറ് മടങ്ങ് ശരിയായ ഉത്തരങ്ങൾ. ഉത്തരം പറയാൻ സ്ഥലമില്ലാതാകുന്നതുവരെ Qwen ചിന്തിച്ചുകൊണ്ടിരുന്നു.

Qwen-ന് എന്താണ് തെറ്റുപറ്റിയത്?

1:00 ചിന്താ മോഡിൽ, അത് പലപ്പോഴും അതിന്റെ യുക്തി ആവർത്തിച്ചു. ഒരു വിദ്യാർത്ഥി ബെൽ അടിക്കുന്നതുവരെ പരീക്ഷാ ബുക്ക്ലെറ്റ് നിറയെ എഴുതുന്നത് സങ്കൽപ്പിക്കുക. മാർക്കർക്ക് ഇപ്പോഴും ഒരു ഉത്തരം ആവശ്യമാണ്. മിക്ക യഥാർത്ഥ ഉത്തരങ്ങളും ദൈർഘ്യ പരിധിയിലെത്തി. അസ്ത്ര രണ്ട് ആന്തരിക പാളികളിൽ ഒരു ആവർത്തന ദിശ കണ്ടെത്തി, തുടർന്ന് തിരഞ്ഞെടുത്ത വെയ്റ്റ് കോളങ്ങളിൽ നിന്ന് അതിന്റെ സംഭാവന നീക്കം ചെയ്തു. ആ എഡിറ്റിന് ശേഷം, കൂടുതൽ ഉത്തരങ്ങൾ ഒരു നിഗമനത്തിലെത്തി. റിപ്പോർട്ട് ചെയ്ത പരീക്ഷണത്തിൽ ഏകദേശം മൂന്നിലൊന്ന് ഇപ്പോഴും പരിധിയിലെത്തി.

1:22 പരീക്ഷാ ബുക്ക്ലെറ്റിന് ഒടുവിൽ ഒരു അവസാന വരി ലഭിച്ചു. ഇന്ന്, സ്പേസി (spaCy) യുടെ സ്ഥാപകനും സഹസ്ഥാപകനുമായ മാത്യു ഹോണിബാൽ

ഇന്നത്തെ വിമർശകൻ എന്താണ് തർക്കിക്കുന്നത്?

1:28 അവതരണത്തെ വെല്ലുവിളിച്ചു. പരീക്ഷണങ്ങളുടെ വ്യത്യസ്ത സാഹചര്യങ്ങളെ ഒന്നിച്ച് ചേർത്ത് ഒരു അസാധാരണ സാങ്കേതിക വിദ്യയെക്കുറിച്ചുള്ള ധാരണ രൂപീകരിക്കാൻ വായനക്കാർക്ക് കഴിയുമെന്ന് അദ്ദേഹം പറയുന്നു. അദ്ദേഹത്തിന്റെ എതിർപ്പ് അവയുടെ സംയോജിത കഥയെക്കുറിച്ചാണ്. നമുക്ക് സാഹചര്യങ്ങൾ സ്വയം പരിശോധിക്കാം. Qwen പരീക്ഷണത്തിൽ, അസ്ത്രയ്ക്ക് വെയ്റ്റുകൾക്ക് മുകളിൽ ഒരു പൈത്തൺ നോട്ട്ബുക്കും ഉത്തരങ്ങളോടുകൂടിയ പരിശീലന

അസ്ത്രയ്ക്ക് യഥാർത്ഥത്തിൽ എന്ത് സഹായമാണ് ലഭിച്ചത്?

1:44 പ്രശ്നങ്ങളും നൽകി. നിരവധി തവണ, ഇത് ആന്തരിക ആക്ടിവേഷനുകൾ പരിശോധിക്കുകയും യഥാർത്ഥവും എഡിറ്റ് ചെയ്തതുമായ പതിപ്പുകൾ താരതമ്യം ചെയ്യുകയും ചെയ്തു. അവസാന ബഡ്ജറ്റ് അമ്പത് ബാച്ച് മോഡൽ റണ്ണുകൾക്ക് അനുവദിച്ചു. നിരവധി തവണ, ഇത് ആന്തരിക ആക്ടിവേഷനുകൾ പരിശോധിക്കുകയും യഥാർത്ഥവും എഡിറ്റ് ചെയ്തതുമായ പതിപ്പുകൾ താരതമ്യം ചെയ്യുകയും ചെയ്തു. അവസാന ബഡ്ജറ്റ് അമ്പത് ബാച്ച് മോഡൽ റണ്ണുകൾക്ക് അനുവദിച്ചു. ഓരോ ജനറേഷൻ ബാച്ചിലും നൂറുകണക്കിന് ഉത്തരങ്ങൾ അടങ്ങിയിരിക്കാം. പരിശീലന ഡാറ്റ പരിശീലന വിഭജനങ്ങളിൽ നിന്നാണ് ലഭിച്ചത്. അസ്ത്ര അന്തിമ മൂല്യനിർണ്ണയ സെറ്റുകൾ കണ്ടിട്ടില്ലെന്ന് ഗവേഷകർ പറയുന്നു. എഡിറ്റ് തിരഞ്ഞെടുക്കാൻ ഫീഡ്‌ബാക്ക് സഹായിച്ചു; പിന്നീട് പുറത്തുനിർത്തിയ പ്രശ്നങ്ങൾ അത് അളന്നു. യഥാർത്ഥ Qwen-നും എഡിറ്റ് ചെയ്ത Qwen-നും ഇടയിൽ സാമ്പിൾ ക്രമീകരണങ്ങൾ സ്ഥിരമായി തുടർന്നു,

2:09 ഈ പ്രോട്ടോക്കോളിന്റെ സ്കോർ താരതമ്യം വ്യാഖ്യാനിക്കാൻ കഴിയുന്നതാക്കി. ആദ്യത്തെ പ്രോംപ്റ്റ് അതിന് ഒരു സഹായകരമായ ലാബ് സൂപ്പർവൈസറെ നൽകി. പരാജയങ്ങൾ നിർണ്ണയിക്കുക, ഉത്തരവാദിത്തമുള്ള ഘടകങ്ങൾ കണ്ടെത്തുക, അതേ പ്രശ്നങ്ങളിൽ താരതമ്യം ചെയ്യുക, കൂടാതെ നിരവധി ശക്തികൾ പരിശോധിക്കുക. അത് ആവർത്തന ചിന്തയെ ഒരു പരിഹാരമായി എടുത്തുപറഞ്ഞു. ബിരുദ വിദ്യാർത്ഥികൾ ഈ ഓൺബോർഡിംഗ് പാക്കേജിനായി ചർച്ച ചെയ്യണം. അതൊരു ശ്രദ്ധേയമായ അറ്റകുറ്റപ്പണിയാണ്.

യഥാർത്ഥ അറ്റകുറ്റപ്പണി എത്ര ചെറുതായിരുന്നു?

2:28 അസ്ത്രയുടെ ലക്ഷ്യം വെച്ചുള്ള എഡിറ്റ് ഏകദേശം ഒരു ലക്ഷത്തി മുപ്പത്തിയൊന്നായിരം വെയ്റ്റുകളെ സ്പർശിച്ചു. അത് മോഡലിന്റെ പതിനാറായിരത്തിൽ ഒരു ശതമാനത്തോളമാണ്. വെയ്റ്റ് ഫയൽ നേരിട്ട് മാറി. ഗ്രേഡിയന്റ് പരിശീലനം നിരോധിച്ചിരുന്നു; അസ്ത്രയുടെ എഡിറ്റിംഗ് സെഷൻ അവസാനിച്ചതിന് ശേഷം നിലവിലുള്ള മോഡൽ ഉത്തരങ്ങൾ നൽകി. ഗ്രേഡിയന്റ് പരിശീലനം നിരോധിച്ചിരുന്നു; അസ്ത്രയുടെ എഡിറ്റിംഗ് സെഷൻ അവസാനിച്ചതിന് ശേഷം നിലവിലുള്ള മോഡൽ ഉത്തരങ്ങൾ നൽകി. നേട്ടം നിർദ്ദേശങ്ങൾ പാലിക്കുന്നതിലും എത്തി. പ്രായോഗികമായ പ്രത്യാഘാതം എനിക്കിഷ്ടമാണ്. ഒരു മോഡലിന് അതിന്റെ പരാജയ രീതി കാരണം മറഞ്ഞുകിടക്കുന്ന ഉപയോഗപ്രദമായ ജോലികൾ ഉണ്ടാകാം.

2:48 ആ പരാജയം പരിഹരിക്കുന്നത് ഉപയോഗപ്രദമായ ഉത്തരങ്ങൾ വീണ്ടെടുക്കാൻ സഹായിക്കും. പൂർത്തിയാക്കുന്നത് പ്രധാനമാണ്. ഒരു മനുഷ്യ മെഷീൻ ലേണിംഗ് എഞ്ചിനീയർക്ക് ചെയ്യാൻ കഴിയുന്ന ജോലികൾ ചെയ്യുന്നതിന് ടൂൾ-അസിസ്റ്റഡ് വർക്കിന് ഹോണിബാൽ ക്രെഡിറ്റ് നൽകുന്നു. പൂർത്തിയാക്കുന്നത് പ്രധാനമാണ്. ഒരു മനുഷ്യ മെഷീൻ ലേണിംഗ് എഞ്ചിനീയർക്ക് ചെയ്യാൻ കഴിയുന്ന ജോലികൾ ചെയ്യുന്നതിന് ടൂൾ-അസിസ്റ്റഡ് വർക്കിന് ഹോണിബാൽ ക്രെഡിറ്റ് നൽകുന്നു. ഒരു ഏജന്റിന് അത് പ്രാധാന്യമുള്ളതാണ്. ചെറിയ അസംസ്കൃത-നമ്പർ ഡെമോൺസ്ട്രേഷനുകളും വലിയ പൈത്തൺ-അസിസ്റ്റഡ് റിപ്പയറുകളും ഒരുമിച്ച് കൂട്ടിച്ചേർക്കുമ്പോൾ വിശാലമായ ഒരു നിഗമനത്തിലേക്ക് ക്ഷണിക്കുന്നു എന്നതാണ് അദ്ദേഹത്തിന്റെ പരാതി. ചെറിയ അസംസ്കൃത-നമ്പർ ഡെമോൺസ്ട്രേഷനുകളും വലിയ പൈത്തൺ-അസിസ്റ്റഡ് റിപ്പയറുകളും ഒരുമിച്ച് കൂട്ടിച്ചേർക്കുമ്പോൾ വിശാലമായ ഒരു നിഗമനത്തിലേക്ക് ക്ഷണിക്കുന്നു എന്നതാണ് അദ്ദേഹത്തിന്റെ പരാതി. ചെറിയ ഗെയിം നെറ്റ്‌വർക്കുകൾ എടുക്കുക.

ഏത് പരീക്ഷണങ്ങൾക്കാണ് ശരിക്കും ടൂളുകൾ ഇല്ലാതിരുന്നത്?

3:09 ഒരു പരീക്ഷണത്തിൽ, അസ്ത്ര അവയുടെ അസംസ്കൃത സംഖ്യകൾ വായിക്കുകയും ഓരോ നെറ്റ്‌വർക്കും ഏത് ഗെയിമാണ് പഠിച്ചതെന്ന് ശരിയായി തിരിച്ചറിയുകയും ചെയ്തു. ഒരു പരീക്ഷണത്തിൽ, അസ്ത്ര അവയുടെ അസംസ്കൃത സംഖ്യകൾ വായിക്കുകയും ഓരോ നെറ്റ്‌വർക്കും ഏത് ഗെയിമാണ് പഠിച്ചതെന്ന് ശരിയായി തിരിച്ചറിയുകയും ചെയ്തു. ഉപകരണങ്ങൾ നിരോധിച്ചിരുന്നു. മറ്റൊരു പരീക്ഷണത്തിൽ, നിയമങ്ങളും സോഴ്സ് കോഡും ഉപയോഗിച്ച് പുതിയ ഗെയിം കളിക്കുന്ന വെയ്റ്റുകൾ ആദ്യം മുതൽ എഴുതി, പരിശീലന റോളൗട്ടുകളില്ലാതെ. മറ്റൊരു പരീക്ഷണത്തിൽ, നിയമങ്ങളും സോഴ്സ് കോഡും ഉപയോഗിച്ച് പുതിയ ഗെയിം കളിക്കുന്ന വെയ്റ്റുകൾ ആദ്യം മുതൽ എഴുതി, പരിശീലന റോളൗട്ടുകളില്ലാതെ. അവ വ്യത്യസ്ത തെളിവുകളുള്ള പ്രത്യേക പ്രദർശനങ്ങളാണ്. നൂറ് ദശലക്ഷം സ്റ്റെപ്പുകൾക്ക് പരിശീലനം ലഭിച്ച ബേസ്ലൈനെ മൂന്ന് ഗെയിമുകളിലും അസ്ത്രയുടെ നെറ്റ്‌വർക്കുകൾ തോൽപ്പിച്ചു. കൂടുതൽ കാലം പരിശീലനം ലഭിച്ച ബേസ്ലൈനെതിരെ, സീക്വെസ്റ്റിലും ആസ്റ്ററിക്സിലും അത് തോൽക്കുകയും ബ്രേക്ക്ഔട്ടിൽ വിജയിക്കുകയും ചെയ്തു.

3:32 കൂടുതൽ കാലം പരിശീലനം ലഭിച്ച ബേസ്ലൈനെതിരെ, സീക്വെസ്റ്റിലും ആസ്റ്ററിക്സിലും അത് തോൽക്കുകയും ബ്രേക്ക്ഔട്ടിൽ വിജയിക്കുകയും ചെയ്തു. താരതമ്യ നിര മാറ്റുക, അപ്പോൾ വിജയ പ്രസംഗം എഡിറ്റ് ചെയ്യേണ്ടിവരും. സൗകര്യപൂർവ്വം, എഡിറ്റിംഗ് ആണ് ഇന്നത്തെ വിഷയം. കൂടുതൽ വ്യാപകമായ ഒരു അവകാശവാദത്തിന്, വ്യത്യസ്ത പരാജയങ്ങളുള്ള മോഡലുകളിലുടനീളം പുരോഗതി ഞങ്ങൾ ആഗ്രഹിക്കുന്നു.

കൂടുതൽ പൊതുവായ ഒരു അവകാശവാദത്തിന് എന്താണ് വേണ്ടത്?

3:44 എഡിറ്റർ കണ്ടതും വിജയമായി കണക്കാക്കിയതും ട്രാക്ക് ചെയ്യുക. Qwen-ന്റെ മോഡൽ കാർഡ് ഇതിനകം ചിന്താ ലൂപ്പുകളെക്കുറിച്ച് മുന്നറിയിപ്പ് നൽകുന്നുണ്ട്. ഈ അറിയപ്പെടുന്ന തടസ്സം നീക്കം ചെയ്യുന്നതിന് ഒരു പ്രത്യേക ആരംഭ പോയിന്റ് ഉണ്ട്. അവരുടെ അഭിനന്ദനം അർഹിക്കുന്നത്, അവർ അസഹനീയമായ ഫോളോ-അപ്പ് സ്വയം പ്രസിദ്ധീകരിക്കുന്നു എന്നതാണ്. ലൂപ്പുകൾ നിർത്തുന്നത് Qwen-ന് ഇതിനകം തന്നെ പ്രവർത്തിപ്പിക്കാൻ കഴിയുന്ന ഉത്തരങ്ങൾ പൂർത്തിയാക്കാൻ സഹായിക്കുന്നുവെന്ന് അവർ വിശദീകരിക്കുന്നു. അവരുടെ ലോഗുകളിൽ പ്രോംപ്റ്റുകൾ, ഫീഡ്‌ബാക്ക്, എഡിറ്റുകൾ എന്നിവ ഉൾപ്പെടുന്നു. ലൂപ്പുകൾ നിർത്തുന്നത് Qwen-ന് ഇതിനകം തന്നെ പ്രവർത്തിപ്പിക്കാൻ കഴിയുന്ന ഉത്തരങ്ങൾ പൂർത്തിയാക്കാൻ സഹായിക്കുന്നുവെന്ന് അവർ വിശദീകരിക്കുന്നു. അവരുടെ ലോഗുകളിൽ പ്രോംപ്റ്റുകൾ, ഫീഡ്‌ബാക്ക്, എഡിറ്റുകൾ എന്നിവ ഉൾപ്പെടുന്നു. നമുക്ക് നേട്ടം പരിശോധിക്കാനും ഒരു കടുപ്പമുള്ള ചോദ്യം ചോദിക്കാനും കഴിയും.

വളരെ കുറച്ച് തവണ മാത്രം ലൂപ്പ് ചെയ്ത മോഡലിന് എന്ത് സംഭവിച്ചു?

4:06 ഇനി രണ്ടാമത്തെ മോഡൽ, സ്വന്തം ഫോളോ-അപ്പ് സജ്ജീകരണത്തിലുള്ള ഒരു ചെറിയ Gemma. ഇത് അപൂർവ്വമായി ലൂപ്പ് ചെയ്തു, അതിനാൽ അതിന്റെ പരാജയങ്ങൾ സാധാരണ തെറ്റായ ഗണിതവും അസാധുവായ ബീജഗണിതവുമായിരുന്നു. അസ്ത്ര വീണ്ടും പരിശീലന ഫീഡ്‌ബാക്കോടെ ലക്ഷ്യം വെച്ചുള്ള വെയ്റ്റ് എഡിറ്റുകൾ പരീക്ഷിച്ചു. ഒന്നും അതിന്റെ കണക്ക് സ്കോർ ഒരു പോയിന്റിൽ കൂടുതൽ ഉയർത്തിയില്ല, ഒരു നേട്ടവും സ്ഥാപിക്കപ്പെട്ടില്ല. വിജയകരമായ Qwen അറ്റകുറ്റപ്പണിക്ക് നീക്കം ചെയ്യാനൊരു തടസ്സമുണ്ടായിരുന്നു. Gemma-യുടെ ഗണിത പിഴവുകൾ അവശേഷിച്ചു. അതാണ് ഡെവലപ്പർമാർക്ക് ഉപയോഗപ്രദമായ ചോദ്യം.

4:28 എഡിറ്റ് ഏത് പരാജയത്തെയാണ് നന്നാക്കിയത്, നിങ്ങളുടെ മോഡലിന് അത് യഥാർത്ഥത്തിൽ ഉണ്ടോ? മൾട്ടിപ്ലയർ ആഘോഷിക്കുന്നതിന് മുമ്പ് നിങ്ങളുടെ സ്വന്തം ജോലികളിൽ സംരക്ഷിച്ച വെയ്റ്റുകൾ പരീക്ഷിക്കുക. നന്നാക്കിയ ഒരു തടസ്സം വലിയ പ്രാധാന്യമുള്ളതായിരിക്കുമ്പോൾ അടുത്ത തടസ്സം അതുപോലെ തന്നെ തുടരും. ഇത് കേൾക്കുന്നതിനുപകരം വായിക്കാനാണ് നിങ്ങൾ ആഗ്രഹിക്കുന്നതെങ്കിൽ, എല്ലാ ദിവസവും രാവിലെ നിങ്ങളുടെ ഇൻബോക്സിൽ The Daily Diff എത്തുന്നു, dailydiff.dev-ൽ സൗജന്യമായി, ലിങ്ക് താഴെയുണ്ട്.

വെയ്റ്റ് എഡിറ്റിംഗ് ക്ലെയിം ഞാൻ SHIP ചെയ്യുമോ?

4:47 അതിനാൽ, ഇന്നത്തെ വിധി NEEDS REVIEW ആണ്. ലൂപ്പ് റിപ്പയർ ഞാൻ ഗൗരവമായി എടുക്കുകയും അത് പരീക്ഷിക്കുകയും ചെയ്യും. ആ പരാജയ മോഡിനപ്പുറമുള്ള വിജയത്തിൽ വിശാലമായ അവകാശവാദങ്ങൾ ഞാൻ പരിമിതപ്പെടുത്തും. രചയിതാക്കളുടെ സ്വന്തം വിപരീത ഉദാഹരണമാണ് ഡിഫിലെ ഏറ്റവും ഉപയോഗപ്രദമായ വരി. അതാണ് ഇന്നത്തെ ഡിഫ്. ഞാൻ Axrisi-ൽ നിന്നുള്ള നിക്കോയാണ്. ഉത്തരവാദിത്തത്തോടെ ലയിപ്പിക്കുക.

ഉറവിടങ്ങൾ

1. Weight-space programming studyRikiya Takehi and coauthors
2. November 3 critique of bundled experiment conditionsMatthew Honnibal
3. Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
4. Actual initial Qwen promptRikiya Takehi and coauthors
5. Pinned smaller Gemma follow-upRikiya Takehi and coauthors
6. Original model-card thinking-loop warningQwen
7. Primary study discussionHacker News
8. Critique discussionHacker News
9. Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
10. Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
11. Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above