GPT-6 אסטרה תיקנה את החשיבה האינסופית של AI אחר

מה מכסה הסרטון הזה

• העלייה המדווחת בציון Qwen הגיעה מתיקון ממוקד לחשיבה חזרתית; כשליש מהתשובות הערוכות עדיין הגיעו למגבלת האורך בפרוטוקול הראשי.
• אימון גרדיאנט נאסר, בעוד שפייתון, תשובות תרגול ומשוב הפעלות מודל במקבצים הותרו לאורך סיבובים רבים. שאלות הערכה סופיות הוכרזו כשהן שמורות בצד.
• ניסויי המשחק הקטנים של משקל גולמי וללא פריסה השתמשו בתנאים שונים. טענותיהם צריכות לשמר את ההיקף האישי שלהם לכלי, קלט וקו בסיס.
• מתיו הווניבל מייחס את ההנדסה בסיוע כלים ומחלוק על הרושם הרחב יותר שנוצר על ידי קיבוץ הניסויים.
• המעקב הקטן יותר של ג'מה השתמש בהגדרה משלו ונכשל בהוכחת שיפור. בדוק איזה כשל תיקון משקולות מתקן לפני יישומו למודל אחר.

תמליל מתורגם

תורגם מהקריינות המקורית באנגלית. זמינות אודיו וכתוביות נשלטת על ידי YouTube.

מדוע ציון המתמטיקה קפץ?

0:00 AI שגורם ל-AI אחר להיות חכם פי שישה נשמע כמו גאונות מיידית. קפיצת הציון הגדולה של אסטרה הגיעה מלעזור ל-Qwen לסיים תשובות שחזר עליהן שוב ושוב. בסרטון זה, מה השתנה? איזו עזרה אסטרה קיבלה? וכמה רחוק התיקון עובר? Qwen עלה מכשמונה אחוזים לכארבעים ושמונה אחוזים. החוקרים ניסו מודל שני כמעט ללא לולאות. נראה איך זה הלך לפני פסק הדין.

0:22 יום שלישי, השלישי בנובמבר, וזה ה-Daily Diff. תכנות במרחב המשקולות הוא השם שהחוקרים נתנו לבקשת AI לבדוק או לכתוב את המספרים בתוך רשת נוירונים. המספרים האלה הם המשקולות שלה. צוות זה, המזוהה עם MIT, השתמש ב-GPT-6 אסטרה של OpenAI כדי לערוך מודל שפה Qwen קטן, כשאימון רגיל נאסר. ריקיה טאקאשי ועמיתיו פרסמו את המחקר ביום שני,

0:44 ושאלו האם AI קיים יכול להסיק מסקנות לגבי המבנה הפנימי של רשת אחרת. התוצאה הבולטת שלהם מאוד קליקה. במתמטיקה חמש מאות, Qwen עלה מכשמונה אחוזים לכארבעים ושמונה אחוזים. כמעט פי שישה יותר תשובות נכונות. Qwen המשיך לחשוב עד שאזל לו המקום לענות.

מה Qwen עשה לא בסדר?

1:00 במצב חשיבה, הוא חזר לעיתים קרובות על תהליך החשיבה שלו. תארו לעצמכם סטודנט ממלא את חוברת הבחינה בעבודה עד שמצלצל הפעמון. הבודק עדיין צריך תשובה. רוב התשובות המקוריות הגיעו למגבלת האורך. אסטרה איתרה כיוון חזרתי בשתי שכבות פנימיות, ואז הסירה את תרומתו מעמודי משקל נבחרים. לאחר עריכה זו, יותר תשובות הגיעו למסקנה. כשליש עדיין הגיעו למגבלה במבחן המדווח.

1:22 חוברת הבחינה סוף סוף קיבלה שורה אחרונה. היום, מתיו הווניבל, יוצר spaCy ומייסד שותף של Explosion,

מה מבקר היום מפקפק?

1:28 ערער על ההצגה. הוא אומר שקוראים יכולים לשלב את התנאים השונים של הניסויים לתוך רושם של טכניקה יוצאת דופן אחת. התנגדותו נוגעת לסיפורם המשולב. אנחנו יכולים לבדוק את התנאים בעצמנו. ניסוי Qwen נתן לאסטרה מחברת פייתון על המשקולות ובעיות תרגול

איזו עזרה אסטרה באמת קיבלה?

1:44 עם תשובות. לאורך סיבובים רבים, הוא בדק הפעלות פנימיות והשווה גרסאות מקוריות וערוכות. התקציב הסופי איפשר חמישים אצוות של הפעלות מודל. כל אצוות יצירה יכלה להכיל מאות תשובות. נתוני התרגול הגיעו מפצלי אימון. החוקרים אומרים שאסטרה מעולם לא ראתה את ערכות ההערכה הסופיות. משוב עזר בבחירת העריכה; בעיות שמורות בצד מדדו אותה לאחר מכן. הגדרות הדגימה נשארו קבועות בין Qwen המקורי לערוך,

2:09 מה שהופך את השוואת הציון של פרוטוקול זה לניתנת לפירוש. ההנחיה הראשונה נתנה לו מפקח מעבדה מועיל. אבחן כשלים, מצא את הרכיבים האחראים, השווה על אותן בעיות, ובדוק מספר חוזקות. הוא הזכיר במפורש חשיבה חזרתית כתיקון שנספר. סטודנטים לתארים מתקדמים צריכים לנהל משא ומתן על חבילת הטמעה זו. זה תיקון מרשים.

כמה קטן היה התיקון בפועל?

2:28 העריכה הממוקדת של אסטרה נגעה בכמאה שלושים ואחד אלף משקולות. זה בערך שש עשרה אלפיות האחוז מהמודל. קובץ המשקל השתנה ישירות. אימון גרדיאנט נשאר אסור; המודל הקיים ביצע את התשובות לאחר שסשן העריכה של אסטרה הסתיים. הרווח הגיע גם למעקב אחר הוראות. אני אוהב את ההשלכה הפרקטית. מודל יכול להחזיק בעבודה שימושית שמצב הכשל שלו ממשיך לקבור.

2:48 תיקון כשל זה יכול להחזיר תשובות שמישות. סיום נחשב. הווניבל נותן קרדיט לעבודה בסיוע כלים כמבצעת משימות שמהנדס למידת מכונה אנושי יכול היה לעשות. זה משמעותי עבור סוכן. טענתו היא שההדגמות הקטנות של מספרים גולמיים והתיקונים הגדולים יותר בסיוע פייתון מזמינים מסקנה רחבה יותר כאשר הם מקובצים יחד. קח את רשתות המשחק הקטנטנות.

אילו ניסויים באמת לא השתמשו בכלים?

3:09 בניסוי אחד, אסטרה קראה את המספרים הגולמיים שלהן וזיהתה נכונה איזה משחק כל רשת למדה. כלים נאסרו. באחר, היא כתבה משקולות משחק חדשות מאפס באמצעות הכללים ו- קוד המקור, ללא פריסות תרגול. אלו הדגמות נפרדות עם ראיות נפרדות. הרשתות של אסטרה ניצחו את קו הבסיס שאומן למאה מיליון צעדים בכל שלושת המשחקים. מול קו הבסיס המאומן יותר, היא הפסידה ב-Seaquest ו-

3:32 Asterix, וניצחה ב-Breakout. שנה את עמוד ההשוואה, ונאום הניצחון יצטרך עריכה. בנוחות, עריכה היא הנושא של היום. עבור טענה רחבה יותר, נרצה שיפורים על פני מודלים עם כשלים שונים.

מה טענה כללית יותר תצטרך?

3:44 עקוב אחר מה שהעורך ראה ומה נחשב להצלחה. כרטיס המודל של Qwen כבר מזהיר מפני לולאות חשיבה. הסרת מכשול ידוע זה כוללת נקודת התחלה מסוימת. לזכותם יאמר, המחברים מפרסמים את המעקב הלא נוח בעצמם. הם מסבירים שעצירת לולאות מאפשרת ל-Qwen לסיים תשובות שהוא כבר יכול היה לפתור. הרישומים שלהם כוללים הנחיות, משוב ועריכות. אנחנו יכולים לבחון את ההישג ולשאול שאלה קשה יותר.

מה קרה למודל שרק לעיתים רחוקות חזר על עצמו?

4:06 עכשיו המודל השני, ג'מה קטנה יותר בהגדרת מעקב משלה. הוא כמעט ולא חזר על עצמו, כך שכשלונותיו היו חשבון שגוי רגיל ו- אלגברה לא חוקית. אסטרה ניסתה שוב עריכות משקל ממוקדות עם משוב תרגול. אף אחד לא הזיז את ציון המתמטיקה שלה ביותר מנקודה אחת בערך, ורווח לא הוכח. לתיקון המוצלח של Qwen היה מכשול להסיר. שגיאות החשבון של ג'מה שרדו. זו השאלה השימושית למפתחים.

4:28 איזה כשל תיקן העריכה, והאם המודל שלך באמת סובל ממנו? בדוק את המשקולות השמורות על המשימות שלך לפני שתחגוג את המכפיל. צוואר בקבוק שתוקן יכול להיות חשוב ביותר בעוד שצוואר הבקבוק הבא נשאר בדיוק במקומו. אם אתה מעדיף לקרוא את זה מאשר לשמוע אותי אומר את זה, הדיף נוחת בתיבת הדואר הנכנס שלך כל בוקר, בחינם ב-thedailydiff.dev, קישור למטה.

האם הייתי מאשר את טענת עריכת המשקולות?

4:47 אז, פסק הדין של היום הוא NEEDS REVIEW. הייתי לוקח את תיקון הלולאה ברצינות ובודק אותו. הייתי שומר טענות רחבות יותר מגודרות בהצלחה מעבר למצב כשל זה. דוגמת הנגד של המחברים עצמם היא השורה השימושית ביותר בדיף. וזה הדיף להיום. אני ניקו מ-Axrisi. מזג באחריות.

מקורות

1. Weight-space programming studyRikiya Takehi and coauthors
2. November 3 critique of bundled experiment conditionsMatthew Honnibal
3. Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
4. Actual initial Qwen promptRikiya Takehi and coauthors
5. Pinned smaller Gemma follow-upRikiya Takehi and coauthors
6. Original model-card thinking-loop warningQwen
7. Primary study discussionHacker News
8. Critique discussionHacker News
9. Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
10. Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
11. Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above