GPT-6 ಅಸ್ತ್ರವು ಮತ್ತೊಂದು AI ನ ಅಂತ್ಯವಿಲ್ಲದ ಚಿಂತನೆಯನ್ನು ಪ್ಯಾಚ್ ಮಾಡಿದೆ

ಈ ವೀಡಿಯೊ ಏನನ್ನು ಒಳಗೊಂಡಿದೆ

• ವರದಿಯಾದ Qwen ಸ್ಕೋರ್ ಹೆಚ್ಚಳವು ಪುನರಾವರ್ತಿತ ತಾರ್ಕಿಕತೆಗೆ ಉದ್ದೇಶಿತ ರಿಪೇರಿಯಿಂದ ಬಂದಿದೆ; ಸಂಪಾದಿತ ಉತ್ತರಗಳಲ್ಲಿ ಸುಮಾರು ಮೂರನೇ ಒಂದು ಭಾಗವು ಪ್ರಾಥಮಿಕ ಪ್ರೋಟೋಕಾಲ್‌ನಲ್ಲಿ ಉದ್ದದ ಮಿತಿಯನ್ನು ತಲುಪಿತು.
• ಗ್ರೇಡಿಯಂಟ್ ತರಬೇತಿಯನ್ನು ನಿಷೇಧಿಸಲಾಗಿತ್ತು, ಆದರೆ ಪೈಥಾನ್, ಅಭ್ಯಾಸದ ಉತ್ತರಗಳು ಮತ್ತು ಬ್ಯಾಚ್ ಮಾಡಿದ ಮಾದರಿ-ರನ್ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಅನೇಕ ತಿರುವುಗಳಲ್ಲಿ ಅನುಮತಿಸಲಾಗಿತ್ತು. ಅಂತಿಮ ಮೌಲ್ಯಮಾಪನ ಪ್ರಶ್ನೆಗಳನ್ನು ಮೂಲ-ಘೋಷಿತವಾಗಿ ಹೊರಗಿಡಲಾಗಿದೆ.
• ಸಣ್ಣ ಕಚ್ಚಾ-ತೂಕ ಮತ್ತು ನೋ-ರೋಲ್‌ಔಟ್ ಗೇಮ್ ಪ್ರಯೋಗಗಳು ವಿಭಿನ್ನ ಪರಿಸ್ಥಿತಿಗಳನ್ನು ಬಳಸಿದವು. ಅವುಗಳ ಹಕ್ಕುಗಳು ತಮ್ಮ ವೈಯಕ್ತಿಕ ಉಪಕರಣ, ಇನ್‌ಪುಟ್ ಮತ್ತು ಮೂಲಭೂತ ವ್ಯಾಪ್ತಿಯನ್ನು ಉಳಿಸಿಕೊಳ್ಳಬೇಕು.
• ಮ್ಯಾಥ್ಯೂ ಹೊನ್ನಿಬಾಲ್ ಉಪಕರಣ-ಸಹಾಯದ ಎಂಜಿನಿಯರಿಂಗ್‌ಗೆ ಮನ್ನಣೆ ನೀಡುತ್ತಾರೆ ಮತ್ತು ಪ್ರಯೋಗಗಳನ್ನು ಒಟ್ಟುಗೂಡಿಸುವುದರಿಂದ ಉಂಟಾದ ವಿಶಾಲವಾದ ಅನಿಸಿಕೆಯನ್ನು ವಿವಾದಿಸುತ್ತಾರೆ.
• ಸಣ್ಣ ಜೆಮ್ಮಾ ಅನುಸರಣೆಯು ತನ್ನದೇ ಆದ ಸೆಟಪ್ ಅನ್ನು ಬಳಸಿದೆ ಮತ್ತು ಸುಧಾರಣೆಯನ್ನು ಸ್ಥಾಪಿಸಲು ವಿಫಲವಾಗಿದೆ. ತೂಕದ ಸಂಪಾದನೆಯು ಮತ್ತೊಂದು ಮಾದರಿಗೆ ಅನ್ವಯಿಸುವ ಮೊದಲು ಯಾವ ವೈಫಲ್ಯವನ್ನು ಸರಿಪಡಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಪರೀಕ್ಷಿಸಿ.

ಅನುವಾದಿತ ಪ್ರತಿಲೇಖನ

ಮೂಲ ಇಂಗ್ಲಿಷ್ ನಿರೂಪಣೆಯಿಂದ ಅನುವಾದಿಸಲಾಗಿದೆ. ಲಭ್ಯವಿರುವ ಆಡಿಯೋ ಮತ್ತು ಶೀರ್ಷಿಕೆಗಳನ್ನು YouTube ನಿಯಂತ್ರಿಸುತ್ತದೆ.

ಗಣಿತದ ಅಂಕಗಳು ಏಕೆ ಹೆಚ್ಚಿದವು?

0:00 ಒಂದು AI ಮತ್ತೊಂದು AI ಅನ್ನು ಆರು ಪಟ್ಟು ಹೆಚ್ಚು ಸ್ಮಾರ್ಟ್ ಮಾಡುವುದು ತಕ್ಷಣದ ಪ್ರತಿಭೆಯಂತೆ ತೋರುತ್ತದೆ. ಅಸ್ತ್ರಾದ ದೊಡ್ಡ ಸ್ಕೋರ್ ಜಂಪ್ Qwen ಉತ್ತರಗಳನ್ನು ಪೂರ್ಣಗೊಳಿಸಲು ಸಹಾಯ ಮಾಡುವುದರಿಂದ ಬಂದಿದೆ. ಪುನರಾವರ್ತನೆ ಮಾಡುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ಈ ವೀಡಿಯೊದಲ್ಲಿ, ಏನು ಬದಲಾಗಿದೆ? ಅಸ್ತ್ರಾಗೆ ಏನು ಸಹಾಯ ಸಿಕ್ಕಿತು? ಮತ್ತು ಪರಿಹಾರವು ಎಷ್ಟು ದೂರ ಪ್ರಯಾಣಿಸುತ್ತದೆ? Qwen ಸುಮಾರು ಎಂಟು ಪ್ರತಿಶತದಿಂದ ನಲವತ್ತೆಂಟು ಪ್ರತಿಶತಕ್ಕೆ ಹೋಯಿತು. ಸಂಶೋಧಕರು ಬಹುತೇಕ ಯಾವುದೇ ಲೂಪ್‌ಗಳಿಲ್ಲದ ಎರಡನೇ ಮಾದರಿಯನ್ನು ಪ್ರಯತ್ನಿಸಿದರು. ತೀರ್ಪಿಗೆ ಮೊದಲು ಅದು ಹೇಗೆ ಹೋಯಿತು ಎಂದು ನಾವು ನೋಡುತ್ತೇವೆ.

0:22 ಇದು ನವೆಂಬರ್ ಮೂರನೇ ಮಂಗಳವಾರ, ಮತ್ತು ಇದು The Daily Diff. ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್‌ನೊಳಗಿನ ಸಂಖ್ಯೆಗಳನ್ನು ಪರೀಕ್ಷಿಸಲು ಅಥವಾ ಬರೆಯಲು AI ಅನ್ನು ಕೇಳಲು ತೂಕ-ಸ್ಪೇಸ್ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಸಂಶೋಧಕರ ಹೆಸರು. ಅವುಗಳ ತೂಕಗಳಾಗಿವೆ. ಈ MIT-ಸಂಬಂಧಿತ ತಂಡವು OpenAI ನ GPT ಸಿಕ್ಸ್ ಅಸ್ತ್ರವನ್ನು ಸಣ್ಣ Qwen ಭಾಷಾ ಮಾದರಿಯನ್ನು ಸಂಪಾದಿಸಲು ಬಳಸಿದೆ, ಸಾಮಾನ್ಯ ತರಬೇತಿಯನ್ನು ನಿಷೇಧಿಸಲಾಗಿದೆ. ರಿಖಿಯಾ ತಕೇಹಿ ಮತ್ತು ಅವರ ಸಹ-ಲೇಖಕರು ಸೋಮವಾರ ಅಧ್ಯಯನವನ್ನು ಪ್ರಕಟಿಸಿದರು, ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ AI ಮತ್ತೊಂದು ನೆಟ್‌ವರ್ಕ್‌ನ ಆಂತರಿಕ ವಿಷಯಗಳ ಬಗ್ಗೆ ತರ್ಕಿಸಬಹುದೇ ಎಂದು ಕೇಳಿದರು.

0:44 ಅವರ ಮುಖ್ಯಾಂಶ ಫಲಿತಾಂಶವು ತುಂಬಾ ಕ್ಲಿಕ್ ಮಾಡಬಹುದಾಗಿದೆ. ಗಣಿತ ಐನೂರರಲ್ಲಿ, Qwen ಸುಮಾರು ಎಂಟು ಪ್ರತಿಶತದಿಂದ ನಲವತ್ತೆಂಟು ಪ್ರತಿಶತಕ್ಕೆ ಏರಿತು. ಸರಿ ಉತ್ತರಗಳು ಸುಮಾರು ಆರು ಪಟ್ಟು ಹೆಚ್ಚು. Qwen ಉತ್ತರ ನೀಡಲು ಸ್ಥಳಾವಕಾಶವಿಲ್ಲದವರೆಗೆ ಯೋಚಿಸುತ್ತಲೇ ಇತ್ತು. ಆಲೋಚನಾ ಕ್ರಮದಲ್ಲಿ, ಅದು ಆಗಾಗ್ಗೆ ತನ್ನ ತಾರ್ಕಿಕತೆಯನ್ನು ಪುನರಾವರ್ತಿಸುತ್ತದೆ.

Qwen ಏನು ತಪ್ಪು ಮಾಡುತ್ತಿತ್ತು?

1:00 ಗಂಟೆ ಬಾರಿಸುವವರೆಗೆ ಪರೀಕ್ಷಾ ಪುಸ್ತಕವನ್ನು ತುಂಬುವ ವಿದ್ಯಾರ್ಥಿಯನ್ನು ಊಹಿಸಿ. ಮಾರ್ಕರ್ಗೆ ಇನ್ನೂ ಉತ್ತರದ ಅಗತ್ಯವಿದೆ. ಹೆಚ್ಚಿನ ಮೂಲ ಉತ್ತರಗಳು ಉದ್ದದ ಮಿತಿಯನ್ನು ತಲುಪಿದವು. ಅಸ್ತ್ರಾ ಎರಡು ಆಂತರಿಕ ಪದರಗಳಲ್ಲಿ ಪುನರಾವರ್ತಿತ ದಿಕ್ಕನ್ನು ಪತ್ತೆಹಚ್ಚಿತು, ನಂತರ ಆಯ್ದ ತೂಕ ಕಾಲಮ್‌ಗಳಿಂದ ಅದರ ಕೊಡುಗೆಯನ್ನು ತೆಗೆದುಹಾಕಿತು. ಆ ಸಂಪಾದನೆಯ ನಂತರ, ಹೆಚ್ಚಿನ ಉತ್ತರಗಳು ತೀರ್ಮಾನಕ್ಕೆ ಬಂದವು. ವರದಿಯಾದ ಪರೀಕ್ಷೆಯಲ್ಲಿ ಸುಮಾರು ಮೂರನೇ ಒಂದು ಭಾಗವು ಇನ್ನೂ ಮಿತಿಯನ್ನು ತಲುಪಿದೆ. ಪರೀಕ್ಷಾ ಪುಸ್ತಕವು ಅಂತಿಮವಾಗಿ ಕೊನೆಯ ಸಾಲನ್ನು ಪಡೆಯಿತು.

1:22 ಇಂದು, ಮ್ಯಾಥ್ಯೂ ಹೊನ್ನಿಬಾಲ್, spaCy ನ ಸೃಷ್ಟಿಕರ್ತ ಮತ್ತು ಎಕ್ಸ್‌ಪ್ಲೋಷನ್‌ನ ಸಹ-ಸಂಸ್ಥಾಪಕರು, ಪ್ರಸ್ತುತಿಯನ್ನು ಸವಾಲು ಮಾಡಿದರು.

ಇಂದಿನ ವಿಮರ್ಶಕರು ಏನನ್ನು ವಿವಾದಿಸುತ್ತಾರೆ?

1:28 ಪ್ರಯೋಗಗಳ ವಿಭಿನ್ನ ಪರಿಸ್ಥಿತಿಗಳನ್ನು ಒಂದು ಅಸಾಮಾನ್ಯ ತಂತ್ರದ ಭಾವನೆಯಾಗಿ ಸಂಯೋಜಿಸಬಹುದು ಎಂದು ಅವರು ಹೇಳುತ್ತಾರೆ. ಅವರ ಆಕ್ಷೇಪಣೆ ಅವರ ಸಂಯೋಜಿತ ಕಥೆಗೆ ಸಂಬಂಧಿಸಿದೆ. ನಾವು ಪರಿಸ್ಥಿತಿಗಳನ್ನು ನಾವೇ ಪರಿಶೀಲಿಸಬಹುದು. Qwen ಪ್ರಯೋಗವು ಅಸ್ತ್ರಾಗೆ ಪೈಥಾನ್ ನೋಟ್‌ಬುಕ್ ಅನ್ನು ತೂಕಗಳ ಮೇಲೆ ಮತ್ತು ಅಭ್ಯಾಸದ ಉತ್ತರಗಳೊಂದಿಗೆ ಸಮಸ್ಯೆಗಳನ್ನು ನೀಡಿತು.

ಅಸ್ತ್ರಾಗೆ ವಾಸ್ತವವಾಗಿ ಏನು ಸಹಾಯ ಸಿಕ್ಕಿತು?

1:44 ಅನೇಕ ತಿರುವುಗಳಲ್ಲಿ, ಇದು ಆಂತರಿಕ ಸಕ್ರಿಯಗೊಳಿಸುವಿಕೆಗಳನ್ನು ಪರೀಕ್ಷಿಸಿತು ಮತ್ತು ಮೂಲ ಮತ್ತು ಸಂಪಾದಿತ ಆವೃತ್ತಿಗಳನ್ನು ಹೋಲಿಸಿತು. ಅಂತಿಮ ಬಜೆಟ್ ಮಾದರಿ ರನ್‌ಗಳ ಐವತ್ತು ಬ್ಯಾಚ್‌ಗಳನ್ನು ಅನುಮತಿಸಿತು. ಪ್ರತಿ ಉತ್ಪಾದನಾ ಬ್ಯಾಚ್ ನೂರಾರು ಉತ್ತರಗಳನ್ನು ಒಳಗೊಂಡಿರಬಹುದು. ಅಭ್ಯಾಸದ ಡೇಟಾ ತರಬೇತಿ ವಿಭಜನೆಗಳಿಂದ ಬಂದಿದೆ. ಅಸ್ತ್ರಾ ಎಂದಿಗೂ ಅಂತಿಮ ಮೌಲ್ಯಮಾಪನ ಸೆಟ್‌ಗಳನ್ನು ನೋಡಿಲ್ಲ ಎಂದು ಸಂಶೋಧಕರು ಹೇಳುತ್ತಾರೆ. ಪ್ರತಿಕ್ರಿಯೆಯು ಸಂಪಾದನೆಯನ್ನು ಆಯ್ಕೆ ಮಾಡಲು ಸಹಾಯ ಮಾಡಿತು; ನಂತರ ಅದನ್ನು ಉಳಿಸಿಕೊಂಡ ಸಮಸ್ಯೆಗಳು ಅಳತೆ ಮಾಡಿದವು. ಮೂಲ ಮತ್ತು ಸಂಪಾದಿತ Qwen ನಡುವೆ ಮಾದರಿ ಸೆಟ್ಟಿಂಗ್‌ಗಳು ಸ್ಥಿರವಾಗಿ ಉಳಿದಿವೆ, ಈ ಪ್ರೋಟೋಕಾಲ್‌ನ ಸ್ಕೋರ್ ಹೋಲಿಕೆಯನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಲು ಸಾಧ್ಯವಾಗಿಸಿತು.

2:09 ಮೊದಲ ಪ್ರಾಂಪ್ಟ್ ಅದಕ್ಕೆ ಸಹಾಯಕವಾದ ಲ್ಯಾಬ್ ಸೂಪರ್‌ವೈಸರ್ ಅನ್ನು ನೀಡಿತು. ವೈಫಲ್ಯಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಿ, ಜವಾಬ್ದಾರಿಯುತ ಘಟಕಗಳನ್ನು ಹುಡುಕಿ, ಅದೇ ಸಮಸ್ಯೆಗಳನ್ನು ಹೋಲಿಸಿ, ಮತ್ತು ಹಲವಾರು ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಪರೀಕ್ಷಿಸಿ. ಪುನರಾವರ್ತಿತ ಆಲೋಚನೆಯನ್ನು ಪರಿಗಣಿಸುವ ರಿಪೇರಿಯಾಗಿ ಅದು ಸ್ಪಷ್ಟವಾಗಿ ಉಲ್ಲೇಖಿಸಿದೆ. ಸ್ನಾತಕೋತ್ತರ ವಿದ್ಯಾರ್ಥಿಗಳು ಈ ಆನ್‌ಬೋರ್ಡಿಂಗ್ ಪ್ಯಾಕೇಜ್‌ಗಾಗಿ ಮಾತುಕತೆ ನಡೆಸಬೇಕು. ಅದು ಪ್ರಭಾವಶಾಲಿ ರಿಪೇರಿ. ಅಸ್ತ್ರಾದ ಉದ್ದೇಶಿತ ಸಂಪಾದನೆಯು ಸುಮಾರು ಒಂದು ಲಕ್ಷ ಮೂವತ್ತೊಂದು ಸಾವಿರ ತೂಕಗಳನ್ನು ಸ್ಪರ್ಶಿಸಿತು.

ನಿಜವಾದ ರಿಪೇರಿ ಎಷ್ಟು ಚಿಕ್ಕದಾಗಿತ್ತು?

2:28 ಅದು ಮಾದರಿಯ ಹದಿನಾರು ಸಾವಿರದ ಒಂದರಷ್ಟು ಶೇಕಡಾ. ತೂಕದ ಫೈಲ್ ನೇರವಾಗಿ ಬದಲಾಯಿತು. ಗ್ರೇಡಿಯಂಟ್ ತರಬೇತಿಯನ್ನು ನಿಷೇಧಿಸಲಾಯಿತು; ಅಸ್ತ್ರಾದ ಸಂಪಾದನೆ ಅವಧಿ ಮುಗಿದ ನಂತರ ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಮಾದರಿಯು ಉತ್ತರಿಸಿತು. ಲಾಭವು ಸೂಚನೆಗಳನ್ನು ಅನುಸರಿಸುವವರೆಗೂ ತಲುಪಿತು. ನನಗೆ ಪ್ರಾಯೋಗಿಕ ಪರಿಣಾಮ ಇಷ್ಟವಾಗಿದೆ. ಒಂದು ಮಾದರಿಯು ಅದರ ವೈಫಲ್ಯದ ಮೋಡ್ ಮರೆಮಾಡುತ್ತಲೇ ಇರುವ ಉಪಯುಕ್ತ ಕೆಲಸವನ್ನು ಹೊಂದಿರಬಹುದು. ಆ ವೈಫಲ್ಯವನ್ನು ಸರಿಪಡಿಸುವುದರಿಂದ ಉಪಯುಕ್ತ ಉತ್ತರಗಳನ್ನು ಮರಳಿ ಪಡೆಯಬಹುದು. ಮುಗಿಸುವುದು ಮುಖ್ಯ. HONNIBAL ಉಪಕರಣ-ಸಹಾಯದ ಕೆಲಸಕ್ಕೆ ಮಾನವ ಯಂತ್ರ ಕಲಿಕೆ ಎಂಜಿನಿಯರ್ ಮಾಡಬಹುದಾದ ಕಾರ್ಯಗಳನ್ನು ನಿರ್ವಹಿಸುವಂತೆ ಮನ್ನಣೆ ನೀಡುತ್ತಾರೆ.

2:48 ಅದು ಏಜೆಂಟ್‌ಗೆ ಪರಿಣಾಮಕಾರಿಯಾಗಿದೆ. ಅವರ ದೂರು ಏನೆಂದರೆ, ಸಣ್ಣ ಕಚ್ಚಾ-ಸಂಖ್ಯೆಯ ಪ್ರದರ್ಶನಗಳು ಮತ್ತು ದೊಡ್ಡ ಪೈಥಾನ್-ಸಹಾಯದ ರಿಪೇರಿಗಳನ್ನು ಒಟ್ಟಿಗೆ ಜೋಡಿಸಿದಾಗ ಒಂದು ವಿಶಾಲವಾದ ತೀರ್ಮಾನಕ್ಕೆ ಆಹ್ವಾನಿಸುತ್ತದೆ. ಪುನರಾವರ್ತಿತ ಚಿಂತನೆಯು ಪರಿಗಣಿಸುವ ರಿಪೇರಿಯಾಗಿ ಸ್ಪಷ್ಟವಾಗಿ ಉಲ್ಲೇಖಿಸಿದೆ. ಗ್ರ್ಯಾಜುಯೇಟ್ ವಿದ್ಯಾರ್ಥಿಗಳು ಈ ಆನ್‌ಬೋರ್ಡಿಂಗ್ ಪ್ಯಾಕೇಜ್‌ಗಾಗಿ ಮಾತುಕತೆ ನಡೆಸಬೇಕು. ಅದು ಪ್ರಭಾವಶಾಲಿ ರಿಪೇರಿ. ಅಸ್ತ್ರಾದ ಉದ್ದೇಶಿತ ಸಂಪಾದನೆಯು ಸುಮಾರು ಒಂದು ಲಕ್ಷ ಮೂವತ್ತೊಂದು ಸಾವಿರ ತೂಕಗಳನ್ನು ಸ್ಪರ್ಶಿಸಿತು.

ಯಾವ ಪ್ರಯೋಗಗಳಲ್ಲಿ ನಿಜವಾಗಿಯೂ ಯಾವುದೇ ಉಪಕರಣಗಳಿರಲಿಲ್ಲ?

3:09 ಅದು ಮಾದರಿಯ ಹದಿನಾರು ಸಾವಿರದ ಒಂದರಷ್ಟು ಶೇಕಡಾ. ತೂಕದ ಫೈಲ್ ನೇರವಾಗಿ ಬದಲಾಯಿತು. ಗ್ರೇಡಿಯಂಟ್ ತರಬೇತಿಯನ್ನು ನಿಷೇಧಿಸಲಾಯಿತು; ಅಸ್ತ್ರಾದ ಸಂಪಾದನೆ ಅವಧಿ ಮುಗಿದ ನಂತರ ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಮಾದರಿಯು ಉತ್ತರಿಸಿತು. ಲಾಭವು ಸೂಚನೆಗಳನ್ನು ಅನುಸರಿಸುವವರೆಗೂ ತಲುಪಿತು. ನನಗೆ ಪ್ರಾಯೋಗಿಕ ಪರಿಣಾಮ ಇಷ್ಟವಾಗಿದೆ. ಒಂದು ಮಾದರಿಯು ಅದರ ವೈಫಲ್ಯದ ಮೋಡ್ ಮರೆಮಾಡುತ್ತಲೇ ಇರುವ ಉಪಯುಕ್ತ ಕೆಲಸವನ್ನು ಹೊಂದಿರಬಹುದು. ಆ ವೈಫಲ್ಯವನ್ನು ಸರಿಪಡಿಸುವುದರಿಂದ ಉಪಯುಕ್ತ ಉತ್ತರಗಳನ್ನು ಮರಳಿ ಪಡೆಯಬಹುದು. ಮುಗಿಸುವುದು ಮುಖ್ಯ. HONNIBAL ಉಪಕರಣ-ಸಹಾಯದ ಕೆಲಸಕ್ಕೆ ಮಾನವ ಯಂತ್ರ ಕಲಿಕೆ ಎಂಜಿನಿಯರ್ ಮಾಡಬಹುದಾದ ಕಾರ್ಯಗಳನ್ನು ನಿರ್ವಹಿಸುವಂತೆ ಮನ್ನಣೆ ನೀಡುತ್ತಾರೆ.

3:32 ಅದು ಏಜೆಂಟ್‌ಗೆ ಪರಿಣಾಮಕಾರಿಯಾಗಿದೆ. ಅವರ ದೂರು ಏನೆಂದರೆ, ಸಣ್ಣ ಕಚ್ಚಾ-ಸಂಖ್ಯೆಯ ಪ್ರದರ್ಶನಗಳು ಮತ್ತು ದೊಡ್ಡ ಪೈಥಾನ್-ಸಹಾಯದ ರಿಪೇರಿಗಳನ್ನು ಒಟ್ಟಿಗೆ ಜೋಡಿಸಿದಾಗ ಒಂದು ವಿಶಾಲವಾದ ತೀರ್ಮಾನಕ್ಕೆ ಆಹ್ವಾನಿಸುತ್ತದೆ. ವ್ಯಾಪಕವಾದ ಹಕ್ಕುಗಾಗಿ, ನಾವು ವಿಭಿನ್ನ ವೈಫಲ್ಯಗಳನ್ನು ಹೊಂದಿರುವ ಮಾದರಿಗಳಲ್ಲಿ ಸುಧಾರಣೆಗಳನ್ನು ಬಯಸುತ್ತೇವೆ.

ಹೆಚ್ಚು ಸಾಮಾನ್ಯವಾದ ಹೇಳಿಕೆಗೆ ಏನು ಬೇಕಾಗುತ್ತದೆ?

3:44 ಸಂಪಾದಕ ಏನು ನೋಡಿದರು ಮತ್ತು ಏನನ್ನು ಯಶಸ್ಸು ಎಂದು ಪರಿಗಣಿಸಲಾಯಿತು ಎಂಬುದನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಿ. Qwen ನ ಮಾದರಿ ಕಾರ್ಡ್ ಈಗಾಗಲೇ ಆಲೋಚನಾ ಲೂಪ್‌ಗಳ ಬಗ್ಗೆ ಎಚ್ಚರಿಕೆ ನೀಡುತ್ತದೆ. ಈ ತಿಳಿದಿರುವ ಅಡಚಣೆಯನ್ನು ತೆಗೆದುಹಾಕಲು ನಿರ್ದಿಷ್ಟ ಆರಂಭಿಕ ಹಂತವಿದೆ. ಅವರ ಶ್ರೇಯಕ್ಕೆ, ಲೇಖಕರು ಅನಾನುಕೂಲ ಅನುಸರಣೆಯನ್ನು ತಾವೇ ಪ್ರಕಟಿಸುತ್ತಾರೆ. ಲೂಪ್‌ಗಳನ್ನು ನಿಲ್ಲಿಸುವುದರಿಂದ Qwen ಈಗಾಗಲೇ ಕೆಲಸ ಮಾಡಬಹುದಾದ ಉತ್ತರಗಳನ್ನು ಪೂರ್ಣಗೊಳಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ ಎಂದು ಅವರು ವಿವರಿಸುತ್ತಾರೆ. ಅವರ ಲಾಗ್‌ಗಳು ಪ್ರಾಂಪ್ಟ್‌ಗಳು, ಪ್ರತಿಕ್ರಿಯೆ ಮತ್ತು ಸಂಪಾದನೆಗಳನ್ನು ಒಳಗೊಂಡಿವೆ. ನಾವು ಸಾಧನೆಯನ್ನು ಪರಿಶೀಲಿಸಬಹುದು ಮತ್ತು ಕಠಿಣ ಪ್ರಶ್ನೆಯನ್ನು ಕೇಳಬಹುದು.

ಅಪರೂಪವಾಗಿ ಲೂಪ್ ಆಗುವ ಮಾದರಿಗೆ ಏನಾಯಿತು?

4:06 ಈಗ ಎರಡನೇ ಮಾದರಿ, ಅದರದೇ ಆದ ಅನುಸರಣಾ ಸೆಟಪ್‌ನಲ್ಲಿ ಸಣ್ಣ ಜೆಮ್ಮಾ. ಇದು ವಿರಳವಾಗಿ ಲೂಪ್ ಆಗುತ್ತದೆ, ಆದ್ದರಿಂದ ಅದರ ವೈಫಲ್ಯಗಳು ಸಾಮಾನ್ಯ ತಪ್ಪು ಅಂಕಗಣಿತ ಮತ್ತು ಅಮಾನ್ಯ ಬೀಜಗಣಿತ. ಅಸ್ತ್ರಾ ಅಭ್ಯಾಸದ ಪ್ರತಿಕ್ರಿಯೆಯೊಂದಿಗೆ ಉದ್ದೇಶಿತ ತೂಕ ಸಂಪಾದನೆಗಳನ್ನು ಮತ್ತೆ ಪ್ರಯತ್ನಿಸಿತು. ಯಾವುದೂ ಅದರ ಗಣಿತದ ಅಂಕವನ್ನು ಒಂದು ಪಾಯಿಂಟ್‌ಗಿಂತ ಹೆಚ್ಚು ಹೆಚ್ಚಿಸಿಲ್ಲ, ಮತ್ತು ಲಾಭವನ್ನು ಸ್ಥಾಪಿಸಲಾಗಿಲ್ಲ. ಯಶಸ್ವಿ Qwen ರಿಪೇರಿಯಲ್ಲಿ ಅಡಚಣೆಯನ್ನು ತೆಗೆದುಹಾಕಬೇಕಾಗಿತ್ತು. ಜೆಮ್ಮಾ ಅವರ ಅಂಕಗಣಿತದ ದೋಷಗಳು ಉಳಿದುಕೊಂಡಿವೆ. ಅದು ಡೆವಲಪರ್‌ಗಳಿಗೆ ಉಪಯುಕ್ತ ಪ್ರಶ್ನೆ.

4:28 ಸಂಪಾದನೆಯು ಯಾವ ವೈಫಲ್ಯವನ್ನು ಸರಿಪಡಿಸಿತು, ಮತ್ತು ನಿಮ್ಮ ಮಾದರಿ ನಿಜವಾಗಿಯೂ ಅದನ್ನು ಹೊಂದಿದೆಯೇ? ಗುಣಕವನ್ನು ಆಚರಿಸುವ ಮೊದಲು ನಿಮ್ಮ ಸ್ವಂತ ಕಾರ್ಯಗಳಲ್ಲಿ ಉಳಿಸಿದ ತೂಕಗಳನ್ನು ಪರೀಕ್ಷಿಸಿ. ದುರಸ್ತಿ ಮಾಡಿದ ಬಾಟಲ್ನೆಕ್ ಅಪಾರವಾಗಿ ಮುಖ್ಯವಾಗಬಹುದು, ಆದರೆ ಮುಂದಿನ ಬಾಟಲ್ನೆಕ್ ಅದು ಇದ್ದಲ್ಲಿಯೇ ನಿಖರವಾಗಿ ಉಳಿಯುತ್ತದೆ. ನಾನು ಇದನ್ನು ಹೇಳುವುದನ್ನು ಕೇಳುವುದಕ್ಕಿಂತ ಹೆಚ್ಚಾಗಿ ಓದಲು ನೀವು ಬಯಸಿದರೆ, ಡಿಫ್ ನಿಮ್ಮ ಇನ್‌ಬಾಕ್ಸ್‌ಗೆ ಪ್ರತಿದಿನ ಬೆಳಿಗ್ಗೆ, daily diff dot dev ನಲ್ಲಿ ಉಚಿತವಾಗಿ, ಲಿಂಕ್ ಕೆಳಗಿದೆ.

ನಾನು ತೂಕ-ಸಂಪಾದನೆಯ ಹೇಳಿಕೆಯನ್ನು SHIP IT ಮಾಡುತ್ತೇನೆಯೇ?

4:47 ಆದ್ದರಿಂದ, ಇಂದಿನ ತೀರ್ಪು NEEDS REVIEW. ನಾನು ಲೂಪ್ ರಿಪೇರಿಯನ್ನು ಗಂಭೀರವಾಗಿ ತೆಗೆದುಕೊಂಡು ಅದನ್ನು ಪರೀಕ್ಷಿಸುತ್ತೇನೆ. ಆ ವೈಫಲ್ಯದ ಮೋಡ್ ಅನ್ನು ಮೀರಿ ಯಶಸ್ಸಿನ ಮೇಲೆ ವಿಶಾಲವಾದ ಹಕ್ಕುಗಳನ್ನು ಇಡುತ್ತೇನೆ. ಲೇಖಕರ ಸ್ವಂತ ಪ್ರತಿ-ಉದಾಹರಣೆಯು ಡಿಫ್‌ನಲ್ಲಿನ ಅತ್ಯಂತ ಉಪಯುಕ್ತ ಸಾಲು. ಮತ್ತು ಅದು ಇಂದಿನ ಡಿಫ್. ನಾನು ಅಕ್ಸ್ರಿಸಿಯಿಂದ ನಿಕೋ. ಜವಾಬ್ದಾರಿಯುತವಾಗಿ ವಿಲೀನಗೊಳಿಸಿ.

ಮೂಲಗಳು

1. Weight-space programming studyRikiya Takehi and coauthors
2. November 3 critique of bundled experiment conditionsMatthew Honnibal
3. Pinned Qwen protocol and exact weight editsRikiya Takehi and coauthors
4. Actual initial Qwen promptRikiya Takehi and coauthors
5. Pinned smaller Gemma follow-upRikiya Takehi and coauthors
6. Original model-card thinking-loop warningQwen
7. Primary study discussionHacker News
8. Critique discussionHacker News
9. Cover portrait: Sam Altman, TechCrunch 2019 crop, CC BY 2.0; cropped, background removed, resized and flipped; no endorsementSteve Jennings/Getty Images for TechCrunch via Wikimedia Commons
10. Released checkpoint and attributed external re-runRikiyaT on Hugging Face; re-run credited to akhaliq
11. Portrait license: Creative Commons Attribution 2.0Creative Commons; Steve Jennings/Getty Images for TechCrunch portrait credit above