GPT-6 ఆస్ట్రా మరొక AI యొక్క అంతులేని ఆలోచనను ప్యాచ్ చేసింది
ఒక MIT-అనుబంధ అధ్యయనం GPT-6 ఆస్ట్రాను ఉపయోగించి ఒక చిన్న క్వెన్ మోడల్ యొక్క బరువులను సవరించింది మరియు మరిన్ని సమాధానాలను పూర్తి చేయడానికి సహాయపడింది.
ఒక MIT-అనుబంధ అధ్యయనం GPT-6 ఆస్ట్రాను ఉపయోగించి ఒక చిన్న క్వెన్ మోడల్ యొక్క బరువులను సవరించింది మరియు మరిన్ని సమాధానాలను పూర్తి చేయడానికి సహాయపడింది. దీని నివేదించబడిన గణిత-స్కోర్ జంప్ ఒక లక్షిత లూప్ రిపేర్, పైథాన్ విశ్లేషణ మరియు అభ్యాస అభిప్రాయంపై ఆధారపడి ఉంది. ఒక ప్రత్యేక చిన్న-జెమ్మా ఫాలో-అప్‌లో ఎటువంటి స్థాపిత లాభం కనుగొనబడలేదు.
వ్రాతపూర్వక సంచికను చదవండి (ఇంగ్లీష్) ↗
ఈ వీడియో ఏమి కవర్ చేస్తుంది
- నివేదించబడిన క్వెన్ స్కోర్ పెరుగుదల పునరావృత తర్కానికి లక్షిత మరమ్మత్తు నుండి వచ్చింది; ప్రాథమిక ప్రోటోకాల్‌లో సవరించిన సమాధానాలలో మూడింట ఒక వంతు ఇప్పటికీ పొడవు పరిమితికి చేరుకున్నాయి.
- గ్రాడియంట్ శిక్షణ నిషేధించబడింది, అయితే పైథాన్, అభ్యాస సమాధానాలు మరియు బ్యాచ్డ్ మోడల్-రన్ అభిప్రాయం అనేక మలుపులలో అనుమతించబడ్డాయి. తుది మూల్యాంకన ప్రశ్నలు మూలం-ప్రకటించబడినవి నిలిపివేయబడ్డాయి.
- చిన్న ముడి-బరువు మరియు నో-రోలౌట్ గేమ్ ప్రయోగాలు విభిన్న పరిస్థితులను ఉపయోగించాయి. వాటి క్లెయిమ్‌లు వాటి వ్యక్తిగత సాధనం, ఇన్‌పుట్ మరియు బేస్‌లైన్ పరిధిని నిలుపుకోవాలి.
- మాథ్యూ హోన్నిబల్ సాధనం-సహాయక ఇంజనీరింగ్‌ను ప్రశంసించారు మరియు ప్రయోగాలను బండిల్ చేయడం ద్వారా ఉత్పత్తి చేయబడిన విస్తృత అభిప్రాయాన్ని వివాదం చేశారు.
- చిన్న జెమ్మా ఫాలో-అప్ దాని స్వంత సెటప్‌ను ఉపయోగించింది మరియు మెరుగుదలను స్థాపించడంలో విఫలమైంది. మరొక మోడల్కు వర్తించే ముందు బరువు సవరణ ఏ వైఫల్యాన్ని మరమ్మత్తు చేస్తుందో పరీక్షించండి.
ప్రశ్నలు మరియు సమాధానాలు
క్వెన్ యొక్క నివేదించబడిన గణిత స్కోరును మెరుగుపరచడానికి ఆస్ట్రా ఏమి మార్చింది?
రికియా టకేహి మరియు సహ రచయితల అధ్యయనం ప్రకారం, ఆస్ట్రా లక్షిత బరువు సవరణను చేసింది, ఇది క్వెన్ మరిన్ని సమాధానాలను పూర్తి చేయడంలో సహాయపడింది. ఇది అంతర్గత పొరలలో ఎంచుకున్న కాలమ్ల నుండి పునరావృత-సంబంధిత సహకారాన్ని తొలగించింది. నివేదించబడిన గణిత-స్కోర్ పెరుగుదల స్థిరమైన మూల్యాంకన ప్రోటోకాల్ను ఉపయోగించింది. చాలా సవరించిన సమాధానాలు ఇప్పటికీ పొడవు పరిమితిని తాకాయి, కాబట్టి ఫలితం గణనీయమైన అవశేష వైఫల్యం రేటును కలిగి ఉంది.
క్వెన్ బరువు సవరణ సమయంలో ఏ సాధనాలు మరియు అభిప్రాయాలు అనుమతించబడ్డాయి?
పైథాన్ విశ్లేషణ, సమాధానాలతో కూడిన అభ్యాస సమస్యలు మరియు బ్యాచ్డ్ మోడల్-రన్ అభిప్రాయం అనేక మలుపులలో అనుమతించబడ్డాయి. పరిశోధకుల అసలు ప్రారంభ ప్రాంప్ట్ గ్రాడియంట్ శిక్షణను నిషేధించింది మరియు పునరావృత-ఆలోచనా మరమ్మత్తును అర్హత గల లక్ష్యంగా సహా విశ్లేషణ మరియు కారణ పరీక్ష సలహాను పేర్కొంది. ఈ మద్దతు ఆస్ట్రాకు ఇప్పటికే ఉన్న బరువులకు ప్రత్యక్ష సవరణను ఎంచుకోవడంలో సహాయపడింది. ఒక బడ్జెట్ యూనిట్ వందలాది ఉత్పత్తి చేయబడిన సమాధానాలను కలిగి ఉండవచ్చు.
తుది మూల్యాంకన సమస్యలు సవరించే మోడల్కు అందుబాటులో ఉన్నాయా?
ఆస్ట్రా తుది మూల్యాంకన సెట్లను చూడలేదని పరిశోధకులు చెప్పారు. అభ్యాస అభిప్రాయం శిక్షణా-విభజన సమస్యల నుండి వచ్చింది మరియు సవరణను ఎంచుకోవడంలో సహాయపడింది; ప్రత్యేకంగా నిలిపివేయబడిన సమస్యలు సమర్పించిన మోడల్ను తర్వాత కొలిచాయి. ప్రారంభ ప్రాంప్ట్ బెంచ్మార్క్ పేర్లు మరియు మూల్యాంకన ప్రోటోకాల్ను వెల్లడించింది. ఆ వ్యత్యాసం పని గురించి ఎడిటర్కు అన్ని సమాచారం లేదని దావా వేయకుండా ఏమి నిలిపివేయబడిందో వివరిస్తుంది.
చిన్న జెమ్మా బరువు-సవరణ ఫాలో-అప్‌లో ఏమి జరిగింది?
రికియా టకేహి మరియు సహ రచయితల ప్రకారం, చిన్న జెమ్మా ఫాలో-అప్ లాభాన్ని స్థాపించడంలో విఫలమైంది. మోడల్ అరుదుగా లూప్ అయ్యింది, మరియు దాని లోపాలలో తప్పుడు అంకగణితం మరియు చెల్లని బీజగణితం ఉన్నాయి. అభ్యాస అభిప్రాయంతో కూడిన లక్షిత సవరణలు నివేదించబడిన గణిత స్కోరును ఒక పాయింట్ కంటే ఎక్కువ పెంచలేదు. ఇది ప్రత్యేక సెటప్‌ను ఉపయోగించింది, కాబట్టి పోలిక సమాన-నియంత్రిత వినాశనం కంటే స్కోప్డ్ ప్రతికూల ఉదాహరణను అందిస్తుంది.
బరువు-సవరణ దావాపై ది డైలీ డిఫ్ తీర్పు ఏమిటి?
ది డైలీ డిఫ్ తీర్పు NEEDS REVIEW. నికో లక్షిత లూప్ రిపేర్ను సీరియస్గా తీసుకొని పరీక్షిస్తాడు, అయితే ఆ వైఫల్యం మోడ్కు మించి విజయానికి విస్తృత వాదనలను అంగీకరిస్తాడు. పరిశోధకుల స్వంత చిన్న-మోడల్ ప్రతికూల ఉదాహరణ ఆ తీర్పును తెలియజేస్తుంది. డెవలపర్లు సవరణ ఏ వైఫల్యాన్ని మరమ్మత్తు చేస్తుందో గుర్తించాలి మరియు నివేదించబడిన గుణకాన్ని జరుపుకునే ముందు వారి స్వంత పనులపై సేవ్ చేసిన బరువులను అంచనా వేయాలి.
అనువదించబడిన ట్రాన్స్క్రిప్ట్
అసలైన ఆంగ్ల కథనం నుండి అనువదించబడింది. అందుబాటులో ఉన్న ఆడియో మరియు క్యాప్షన్లు YouTube ద్వారా నియంత్రించబడతాయి.
గణిత స్కోరు ఎందుకు పెరిగింది?
0:00 ఒక AI మరొక AI ని ఆరు రెట్లు తెలివిగా చేయడం తక్షణమే అనిపిస్తుంది మేధావి. ఆస్ట్రా యొక్క పెద్ద స్కోరు జంప్ క్వెన్ సమాధానాలను పూర్తి చేయడంలో సహాయపడటం నుండి వచ్చింది. ఈ వీడియోలో, ఏమి మారింది? ఆస్ట్రాకు ఎంత సహాయం లభించింది? మరియు పరిష్కారం ఎంత దూరం ప్రయాణిస్తుంది? క్వెన్ సుమారు ఎనిమిది శాతం నుండి నలభై ఎనిమిది శాతానికి పెరిగింది. పరిశోధకులు దాదాపు లూప్‌లు లేని రెండవ మోడల్ను ప్రయత్నించారు. తీర్పుకు ముందు అది ఎలా జరిగిందో మనం చూస్తాము.
0:22 ఈ రోజు మంగళవారం, నవంబర్ మూడవ తేదీ, మరియు ఇది ది డైలీ డిఫ్. వెయిట్-స్పేస్ ప్రోగ్రామింగ్ అనేది పరిశోధకుల పేరు ఒక AI ని తనిఖీ చేయమని లేదా న్యూరల్ నెట్‌వర్క్‌లోని సంఖ్యలను వ్రాయమని అడగడం. ఆ సంఖ్యలే దాని బరువులు. ఈ MIT-అనుబంధ బృందం ఓపెన్‌ఐ యొక్క GPT సిక్స్ ఆస్ట్రాను ఒక చిన్న క్వెన్ భాషా మోడల్ను సవరించడానికి ఉపయోగించింది, సాధారణ శిక్షణ నిషేధించబడింది. రికియా టకేహి మరియు అతని సహ రచయితలు సోమవారం అధ్యయనాన్ని ప్రచురించారు,
0:44 ఇప్పటికే ఉన్న AI మరొక నెట్‌వర్క్ యొక్క అంతర్గత భాగాల గురించి తార్కికం చేయగలదా అని అడిగారు. వారి ముఖ్యాంశం ఫలితం చాలా క్లిక్ చేయదగినది. గణితం ఐదు వందలలో, క్వెన్ సుమారు ఎనిమిది శాతం నుండి నలభై ఎనిమిది శాతానికి పెరిగింది. దాదాపు ఆరు రెట్లు సరైన సమాధానాలు. క్వెన్ సమాధానం చెప్పడానికి స్థలం అయిపోయే వరకు ఆలోచిస్తూనే ఉంది.
క్వెన్ ఏం తప్పు చేస్తోంది?
1:00 ఆలోచనా విధానంలో, అది తరచుగా దాని తర్కాన్ని పునరావృతం చేసింది. ఒక విద్యార్థి గంట మోగే వరకు పరీక్షా పుస్తకాన్ని పనితో నింపడం ఊహించుకోండి. మార్కర్ ఇంకా సమాధానం కావాలి. చాలా అసలు సమాధానాలు పొడవు పరిమితిని తాకాయి. ఆస్ట్రా రెండు అంతర్గత పొరలలో పునరావృత దిశను గుర్తించింది, తరువాత ఎంచుకున్న బరువు కాలమ్ల నుండి దాని సహకారాన్ని తొలగించింది. ఆ సవరణ తర్వాత, మరిన్ని సమాధానాలు ఒక ముగింపుకు చేరుకున్నాయి. నివేదించబడిన పరీక్షలో సుమారు మూడింట ఒక వంతు ఇప్పటికీ పరిమితిని తాకాయి.
1:22 పరీక్షా పుస్తకానికి చివరకు చివరి పంక్తి లభించింది. నేడు, మాథ్యూ హోన్నిబల్, స్పాసీ సృష్టికర్త మరియు ఎక్స్ప్లోషన్ సహ వ్యవస్థాపకుడు,
నేటి విమర్శకుడు ఏమి వివాదం చేస్తున్నాడు?
1:28 ప్రదర్శనను సవాలు చేశారు. అతను పాఠకులు ప్రయోగాల యొక్క విభిన్న పరిస్థితులను ఒక అసాధారణ సాంకేతికత యొక్క అభిప్రాయంగా కలపవచ్చని చెప్పారు. అతని అభ్యంతరం వారి కలిసిన కథకు సంబంధించినది. మనం పరిస్థితులను మనమే తనిఖీ చేయవచ్చు. క్వెన్ ప్రయోగం ఆస్ట్రాకు బరువులు మరియు అభ్యాస సమస్యలపై పైథాన్ నోట్‌బుక్‌ను ఇచ్చింది
ఆస్ట్రాకు నిజంగా ఎంత సహాయం లభించింది?
1:44 సమాధానాలతో. అనేక మలుపులలో, అది అంతర్గత క్రియాశీలతలను తనిఖీ చేసింది మరియు అసలు మరియు సవరించిన సంస్కరణలను పోల్చింది. తుది బడ్జెట్ మోడల్ రన్‌ల యాభై బ్యాచ్‌లను అనుమతించింది. ప్రతి జనరేషన్ బ్యాచ్ వందలాది సమాధానాలను కలిగి ఉండవచ్చు. అభ్యాస డేటా శిక్షణా విభజనల నుండి వచ్చింది. ఆస్ట్రా తుది మూల్యాంకన సెట్లను ఎప్పుడూ చూడలేదని పరిశోధకులు చెప్పారు. అభిప్రాయం సవరణను ఎంచుకోవడంలో సహాయపడింది; నిలిపివేయబడిన సమస్యలు దానిని తర్వాత కొలిచాయి. నమూనా సెట్టింగ్‌లు అసలు మరియు సవరించిన క్వెన్ మధ్య స్థిరంగా ఉన్నాయి,
2:09 ఈ ప్రోటోకాల్ యొక్క స్కోర్ పోలికను వివరించదగినదిగా చేసింది. మొదటి ప్రాంప్ట్ దీనికి సహాయకరమైన ల్యాబ్ సూపర్‌వైజర్‌ను ఇచ్చింది. వైఫల్యాలను నిర్ధారించండి, బాధ్యత వహించే భాగాలను కనుగొనండి, అదే సమస్యలపై పోల్చండి మరియు అనేక బలాలను పరీక్షించండి. ఇది పునరావృత ఆలోచనను మరమ్మత్తుగా స్పష్టంగా పేర్కొంది. గ్రాడ్యుయేట్ విద్యార్థులు ఈ ఆన్‌బోర్డింగ్ ప్యాకేజీ కోసం చర్చలు జరపాలి. అదొక అద్భుతమైన మరమ్మత్తు.
నిజమైన మరమ్మత్తు ఎంత చిన్నదిగా ఉంది?
2:28 ఆస్ట్రా యొక్క లక్షిత సవరణ సుమారు లక్ష ముప్పై ఒక్క వేల బరువులను తాకింది. అది మోడల్ లో పదహారు వేలలో ఒక శాతం మాత్రమే. బరువు ఫైల్ నేరుగా మారింది. గ్రాడియంట్ శిక్షణ నిషేధించబడింది; ఆస్ట్రా యొక్క సవరణ సెషన్ ముగిసిన తర్వాత ఇప్పటికే ఉన్న మోడల్ సమాధానం చెప్పింది. ఆస్ట్రా యొక్క సవరణ సెషన్ ముగిసిన తర్వాత ఇప్పటికే ఉన్న మోడల్ సమాధానం చెప్పింది. లాభం సూచనలను పాటించడంలో కూడా చేరుకుంది. ఆచరణాత్మక చిక్కులు నాకు నచ్చాయి. ఒక మోడల్ దాని వైఫల్యం మోడ్ పూడ్చిపెట్టిన ఉపయోగకరమైన పనిని కలిగి ఉండవచ్చు.
2:48 ఆ వైఫల్యాన్ని పరిష్కరించడం ద్వారా ఉపయోగించదగిన సమాధానాలను తిరిగి పొందవచ్చు. పూర్తి చేయడం ముఖ్యం. హోన్నిబల్ సాధనం-సహాయక పనికి మానవ మెషీన్-లెర్నింగ్ ఇంజనీర్ చేయగల పనులను నిర్వహించినట్లుగా క్రెడిట్ ఇస్తుంది. మానవ మెషీన్-లెర్నింగ్ ఇంజనీర్ చేయగల పనులను నిర్వహించినట్లుగా క్రెడిట్ ఇస్తుంది. అది ఒక ఏజెంట్‌కు చాలా ముఖ్యమైనది. అతని ఫిర్యాదు ఏమిటంటే, చిన్న ముడి-సంఖ్య ప్రదర్శనలు మరియు పెద్ద పైథాన్-సహాయక మరమ్మతులు కలిపి ఉన్నప్పుడు విస్తృత ముగింపును ఆహ్వానిస్తాయి. చిన్న ఆట నెట్‌వర్క్‌లను తీసుకోండి.
నిజంగా ఏ ప్రయోగాలకు సాధనాలు లేవు?
3:09 ఒక ప్రయోగంలో, ఆస్ట్రా వాటి ముడి సంఖ్యలను చదివి, ఏ ఆటను ప్రతి నెట్‌వర్క్ నేర్చుకుందో సరిగ్గా గుర్తించింది. సాధనాలను నిషేధించారు. మరొకదానిలో, ఇది నియమాలు మరియు సోర్స్ కోడ్‌ను ఉపయోగించి కొత్త గేమ్-ఆడే బరువులను మొదటి నుండి వ్రాసింది, అభ్యాస రోలౌట్‌లు లేకుండా. అవి విడివిడి రుజువులతో కూడిన విడివిడి ప్రదర్శనలు. ఆస్ట్రా యొక్క నెట్‌వర్క్‌లు వంద మిలియన్ల దశలకు శిక్షణ పొందిన బేస్‌లైన్‌ను అన్ని మూడు ఆటలలో ఓడించాయి. ఎక్కువ కాలం శిక్షణ పొందిన బేస్‌లైన్‌కు వ్యతిరేకంగా, అది సీక్వెస్ట్ మరియు
3:32 ఆస్టెరిక్స్‌లో ఓడిపోయింది, బ్రేకౌట్‌లో గెలిచింది. పోలిక కాలమ్‌ను మార్చండి, మరియు విజయోత్సవ ప్రసంగానికి సవరణ అవసరం. సౌకర్యవంతంగా, సవరణ అనేది నేటి అంశం. విస్తృత వాదన కోసం, విభిన్న లోపాలతో కూడిన మోడల్స్‌లో మెరుగుదలలు కావాలి.
మరింత సాధారణ దావాకు ఏమి అవసరం?
3:44 ఎడిటర్ ఏమి చూసిందో మరియు విజయంగా పరిగణించబడిందో ట్రాక్ చేయండి. క్వెన్ యొక్క మోడల్ కార్డ్ ఇప్పటికే ఆలోచనా లూప్‌ల గురించి హెచ్చరిస్తుంది. ఈ తెలిసిన అడ్డంకిని తొలగించడం ఒక ప్రత్యేక ప్రారంభ స్థానాన్ని కలిగి ఉంది. వారి క్రెడిట్ కోసం, రచయితలు అసౌకర్యమైన ఫాలో-అప్‌ను వారే ప్రచురిస్తారు. వారు లూప్‌లను ఆపడం ద్వారా క్వెన్ ఇప్పటికే పని చేయగలిగే సమాధానాలను పూర్తి చేయవచ్చని వివరిస్తారు. వారి లాగ్‌లలో ప్రాంప్ట్‌లు, అభిప్రాయం మరియు సవరణలు ఉన్నాయి. మనం సాధనను పరిశీలించి, మరింత కఠినమైన ప్రశ్నను అడగవచ్చు.
అరుదుగా లూప్ చేసిన మోడల్కు ఏమి జరిగింది?
4:06 ఇప్పుడు రెండవ మోడల్, దాని స్వంత ఫాలో-అప్ సెటప్‌లో ఒక చిన్న జెమ్మా. ఇది అరుదుగా లూప్ అయ్యింది, కాబట్టి దాని లోపాలు సాధారణ తప్పుడు అంకగణితం మరియు చెల్లని బీజగణితం. ఆస్ట్రా మళ్ళీ అభ్యాస అభిప్రాయంతో లక్షిత బరువు సవరణలను ప్రయత్నించింది. ఏదీ దాని గణిత స్కోరును ఒక పాయింట్ కంటే ఎక్కువ పెంచలేదు, మరియు లాభం స్థాపించబడలేదు. విజయవంతమైన క్వెన్ మరమ్మత్తుకు తొలగించాల్సిన అడ్డంకి ఉంది. జెమ్మా యొక్క అంకగణిత లోపాలు మిగిలిపోయాయి. అది డెవలపర్‌లకు ఉపయోగకరమైన ప్రశ్న.
4:28 సవరణ ఏ వైఫల్యాన్ని మరమ్మత్తు చేసింది, మరియు మీ మోడల్కు అది నిజంగా ఉందా? గుణకాన్ని జరుపుకునే ముందు మీ స్వంత పనులపై సేవ్ చేసిన బరువులను పరీక్షించండి. మరమ్మత్తు చేయబడిన బాటిల్‌నెక్ చాలా ముఖ్యమైనది కావచ్చు, అయితే తదుపరి బాటిల్‌నెక్ అది ఉన్న చోటనే ఉంటుంది. అది ఉన్న చోటనే ఉంటుంది. నేను చెప్పడం కంటే దీన్ని చదవడానికి మీరు ఇష్టపడితే, డిఫ్ ప్రతి ఉదయం మీ ఇన్‌బాక్స్‌కు వస్తుంది, dailydiff.dev లో ఉచితంగా, లింక్ కింద ఉంది.
నేను బరువు-సవరణ దావాను పంపిస్తానా?
4:47 కాబట్టి, నేటి తీర్పు NEEDS REVIEW. నేను లూప్ రిపేర్ను సీరియస్గా తీసుకొని పరీక్షిస్తాను. ఆ వైఫల్యం మోడ్కు మించి విజయానికి విస్తృత వాదనలను నేను అంగీకరిస్తాను. రచయితల స్వంత ప్రతికూల ఉదాహరణ డిఫ్‌లో అత్యంత ఉపయోగకరమైన పంక్తి. మరియు అది నేటి డిఫ్. నేను ఆక్సీసీ నుండి నికో. బాధ్యతాయుతంగా విలీనం చేయండి.
మూలాలు
- Weight-space programming studyRikiya Takehi and coauthors
- November 3 critique of bundled experiment conditionsMatthew Honnibal
- Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
- Actual initial Qwen promptRikiya Takehi and coauthors
- Pinned smaller Gemma follow-upRikiya Takehi and coauthors
- Original model-card thinking-loop warningQwen
- Primary study discussionHacker News
- Critique discussionHacker News
- Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
- Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
- Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above
.jpg){kind=link}