Τα όρια δαπανών της AWS μπορούν να διαγράψουν το έργο σας

Τι καλύπτει αυτό το βίντεο

• Τι μπορεί πραγματικά να προστατεύσει ένα ανώτατο όριο δαπανών στο cloud;
• Πώς σταματά πραγματικά η AWS τις δαπάνες ενός έργου;
• Ποιος αποκτά τα νέα όρια δαπανών της AWS;
• Τι ορίζει η Google ως όριο και τι συνεχίζει να χρεώνει;
• Πόσο μικρό είναι το νέο μοντέλο ανοιχτού βάρους της Γερμανίας;

Μεταφρασμένη μεταγραφή

Μεταφράστηκε από την πρωτότυπη αγγλική αφήγηση. Ο διαθέσιμος ήχος και οι υπότιτλοι ελέγχονται από το YouTube.

Τι μπορεί πραγματικά να προστατεύσει ένα ανώτατο όριο δαπανών στο cloud;

0:00 Ένα ανώτατο όριο δαπανών σημαίνει ότι το δευτερεύον έργο σας είναι ασφαλές. Το νέο όριο της AWS μπορεί να το θέσει σε παύση, και αν μείνει σε παύση μπορεί τελικά να διαγράψει τα δεδομένα. Σε αυτό το βίντεο, τι σταματά τον λογαριασμό; Ποιο είναι το πρόβλημα; Ποιος λαμβάνει πραγματικά αυτά τα όρια; Υπάρχει μια αντίστροφη μέτρηση στην τεκμηρίωση της AWS. Θα την ακολουθήσουμε μέχρι το κουμπί διαγραφής. Είναι Κυριακή, τέταρτη Οκτωβρίου, και αυτό είναι το The Daily Diff.

0:20 Το Σάββατο, ο Simon Willison ζήτησε προεπιλεγμένα όρια δαπανών καθώς οι πράκτορες διευκολύνουν την ανάπτυξη λογισμικού. Η Γερμανία κυκλοφόρησε το Kolibri, ενώ οι συντηρητές του Cosmic έθεσαν όρια στις συνεισφορές AI. Το επιχείρημα του Willison είναι οδυνηρά οικείο. Ένα προειδοποιητικό email φτάνει τα μεσάνυχτα, η υπηρεσία συνεχίζει να ξοδεύει, και ξυπνάτε ως ο ακούσιος χορηγός της δικής σας άπειρης επανάληψης. Η AWS εισήγαγε όρια δαπανών έργου στην απλοποιημένη εμπειρία δημιουργίας της τον

Πώς σταματά πραγματικά η AWS τις δαπανών ενός έργου;

0:44 Σεπτέμβριο. Όταν η χρήση φτάσει το όριο, η AWS θέτει σε παύση το έργο και σταματά τους πόρους του. Τα δεδομένα σας αρχικά διατηρούνται. Αυτή είναι μια πραγματική αλλαγή στο συμβόλαιο του προϊόντος. Ο πελάτης μπορεί να εξουσιοδοτήσει το cloud να διακόψει το πείραμα. Μια ειδοποίηση δαπανών αφήνει την απόφαση σε όποιον διαβάζει τα εισερχόμενά του. Ένας πράκτορας κωδικοποίησης μπορεί να διαθέσει πόρους ενώ ετοιμάζετε δείπνο. Ο λογαριασμός ανήκει στον ιδιοκτήτη του λογαριασμού, ο οποίος έχει γίνει κάπως τόσο το τμήμα μηχανικής όσο και το οικονομικό τμήμα.

1:09 Η διάθεση είναι περιορισμένη και χρειάζεστε ένα επί πληρωμή πρόγραμμα για να ορίσετε ένα όριο.

Ποιος αποκτά τα νέα όρια δαπανών της AWS;

1:13 Αυτό ανήκει στη νέα εμπειρία έργου. Ελέγξτε τη διαθεσιμότητα πριν υποθέσετε ότι ο υπάρχων λογαριασμός σας έχει τους ίδιους ελέγχους. Το ανώτατο όριο ισχύει για τις χρεώσεις πριν από τους φόρους και εξαιρεί τις πιστώσεις. Το ελάχιστο είναι είκοσι δολάρια ή η συντηρητική εκτίμηση δαπανών της AWS, όποιο είναι υψηλότερο. Οι ήδη εκτελούμενοι πόροι μπορούν να αυξήσουν αυτό το ελάχιστο. Αυτό είναι σημαντικό για ένα παραμελημένο sandbox γεμάτο ακριβές μηχανές. Ίσως χρειαστεί να τα σταματήσετε πριν ορίσετε ένα μικρότερο όριο.

1:36 Η οικονομική συμβουλή του cloud αρχίζει με το κλείσιμο του υπολογιστή. Η AWS προσφέρει επίσης προαιρετικούς πρώιμους ελέγχους. Περίπου μια εβδομάδα πριν από το προβλεπόμενο όριο, μπορεί να μπλοκάρει νέους πόρους. Οι υπάρχουσες περιπτώσεις σας παραμένουν σε λειτουργία, ενώ μια ομάδα αυτόματης κλιμάκωσης μπορεί να χάσει την άδεια να επεκταθεί. Άλλες επιλογές θέτουν σε παύση τους αδρανείς πόρους, και στη συνέχεια τους κυριότερους παράγοντες κόστους καθώς η πρόβλεψη πλησιάζει. Ένα endpoint του SageMaker με μηδενικές κλήσεις για δύο εβδομάδες χαρακτηρίζεται ως αδρανές. Η ξεχασμένη σας επίδειξη επιτέλους λαμβάνει μια συνέντευξη εξόδου.

2:03 Ο Willison θέλει να ενεργοποιούνται τα σκληρά όρια από προεπιλογή, με απεριόριστες δαπάνες ως ρητή επιλογή. Αυτή είναι η πρότασή του. Η τεκμηρίωση της AWS περιγράφει ελέγχους που διαμορφώνετε, με περιορισμένη πρόσβαση κατά τη διάρκεια αυτής της διάθεσης. Η Google ανακοίνωσε τα δικά της όρια δαπανών τον Ιούλιο.

Τι ορίζει η Google ως όριο και τι συνεχίζει να χρεώνει;

2:17 Στην δημόσια προεπισκόπηση, στοχεύουν μία υπηρεσία μέσα σε ένα έργο, και η Google λέει ότι τα όρια AI ενεργοποιούνται μέσα σε λίγα λεπτά από την επίτευξη του ορίου. Οι αναφερόμενες υπηρεσίες περιλαμβάνουν το Gemini και το Cloud Run. Άλλες υπηρεσίες παραμένουν ανεπηρέαστες. Οι σταθερές συμβατικές δεσμεύσεις συνεχίζουν να χρεώνονται, οπότε η παύση νέας χρήσης αφήνει ακόμα τυχόν δεσμεύσεις που έχετε ήδη υπογράψει να εμφανίζονται στο τιμολόγιο. Για μια επιχείρηση, μια απρόσμενη διακοπή μπορεί επίσης να είναι δαπανηρή. Η AWS καθορίζει ρητά αυτά τα όρια γύρω από πειράματα και sandboxes,

2:43 με την παραγωγική χρήση να εξαρτάται από το αν μια παύση πόρων είναι αποδεκτή. Η δική μου λύση για προγραμματιστές είναι απλή. Τοποθετήστε τους πειραματικούς πράκτορες σε ξεχωριστό έργο, ελέγξτε ποιες χρεώσεις καλύπτει το όριο και δοκιμάστε τη διαδικασία ανάκτησής σας. Ο περιορισμός χρειάζεται έναν ιδιοκτήτη που να παρατηρεί πότε ενεργοποιείται.

Πόσο μικρό είναι το νέο μοντέλο ανοιχτού βάρους της Γερμανίας;

2:57 Εν τω μεταξύ, η Aleph Alpha κυκλοφόρησε το Kolibri, ένα μοντέλο ανοιχτού βάρους για γερμανικά και αγγλικά. Η εναρκτήρια κινούμενη εικόνα του λέει μικρό πουλί, γρήγορα φτερά. Τα βάρη είναι διαθέσιμα υπό την άδεια Apache 2.0. Ο Chubby το χαρακτήρισε μια εκπληκτικά ισχυρή κυκλοφορία από τη Γερμανία. Το χρήσιμο μέρος είναι ο έλεγχος ανάπτυξης. Μια εταιρεία μπορεί να διατηρήσει τα βάρη και να επεξεργαστεί τα έγγραφά της μέσω υποδομής που της ανήκει. Περίπου τρεισήμισι δισεκατομμύρια παράμετροι εργάζονται σε κάθε 'token', αλλά το πλήρες μοντέλο έχει εβδομήντα οκτώ δισεκατομμύρια.

3:22 Τα δημοσιευμένα βάρη του καταλαμβάνουν περίπου εβδομήντα οκτώ gigabytes, οπότε το μικρό πουλί χρειάζεται ακόμα ένα μεγάλο κλουβί. Ο Tejas Kumar δοκίμασε ανεξάρτητα τον tokenizer του στο σύνταγμα της Γερμανίας. Χρησιμοποίησε περίπου δεκαπέντε τοις εκατό λιγότερα 'tokens' από τον tokenizer του OpenAI στα γερμανικά. Στην αγγλική μετάφραση, ήταν ουσιαστικά ισόπαλοι. Αυτή είναι μια στενή, χρήσιμη μέτρηση της γερμανικής αποτελεσματικότητας κειμένου. Λέει ότι δεν έχει τρέξει το ίδιο το μοντέλο. Διατηρήστε αυτή τη διάκριση όταν ένα φιλικό διάγραμμα εκκίνησης προσπαθεί να γίνει το

3:46 τμήμα προμηθειών σας. Και ο Cosmic compositor της System76 ζητά τώρα από τους

Τι ακριβώς απορρίπτει το COSMIC στα pull requests;

3:50 συνεισφέροντες να πιστοποιήσουν ότι το pull request τους δεν περιέχει περιεχόμενο που έχει δημιουργηθεί από μοντέλο γλώσσας. Το πρότυπο περιλαμβάνει ρητά κώδικα, σχόλια και περιγραφές. Οι συνεισφέροντες υπόσχονται επίσης ότι κατανοούν και δοκίμασαν την αλλαγή. Το αποθετήριο Flatpak έχει μια εξαίρεση για τον δικό τους κώδικα εφαρμογής και manifest. Διαβάστε το πραγματικό πρότυπο πριν αντιμετωπίσετε ολόκληρο το έργο ως έναν κανόνα. Η μηχανή μπορεί να παράγει ένα άλλο patch σε δευτερόλεπτα. Κάποιος πρέπει ακόμα να το διαβάσει.

4:14 Σήμερα το cloud θέτει όρια στο πείραμα, και οι συντηρητές θέτουν όρια στην ουρά αναθεώρησης. Πίσω σε αυτό το έργο AWS σε παύση. Η αύξηση του ορίου δαπανών μπορεί να το ενεργοποιήσει ξανά, και ορισμένοι πόροι μπορεί να χρειαστούν χειροκίνητες επανεκκινήσεις. Η ανάκτηση είναι μια διαδικασία που πρέπει να κατανοήσετε πριν ένας πράκτορας ξοδέψει το επίδομα. Η αντίστροφη μέτρηση είναι ενενήντα ημέρες.

Πότε η παύση γίνεται μόνιμη απώλεια δεδομένων;

4:31 Η AWS λέει ότι αν δεν προβείτε σε καμία ενέργεια εντός αυτού του χρόνου μετά την παύση του έργου, διαγράφει οριστικά τα δεδομένα του έργου. Τοποθετήστε ένα αντίγραφο ασφαλείας εκτός της ακτίνας έκρηξης αυτού του έργου. Ένας σταματημένος λογαριασμός και ένα διατηρημένο αντίγραφο ασφαλείας είναι δύο ξεχωριστές δουλειές. Θέλω το όριο και θέλω ένα σχέδιο ανάκτησης. Το εγκαταλελειμμένο πρωτότυπο του Σαββατοκύριακου μου πρέπει να αποσυρθεί με αξιοπρέπεια. Αν προτιμάτε να το διαβάσετε αυτό παρά να με ακούτε να το λέω, το diff φτάνει στα εισερχόμενά σας κάθε πρωί, δωρεάν στο the daily diff dot dev, σύνδεσμος παρακάτω.

Ποια είναι η ετυμηγορία μου για τους νέους ελέγχους δαπανών;

4:55 Οπότε η σημερινή ετυμηγορία, NEEDS REVIEW. Χαιρετίζω τους επιβαλλόμενους περιορισμούς δαπανών. Θα επαλήθευα τη διαθεσιμότητα, τις καλυπτόμενες χρεώσεις και την ανάκτηση πριν δώσω έναν πράκτορα στον λογαριασμό. Ένας χρόνος διαγραφής ενενήντα ημερών αξίζει μια πολύ εμφανή προειδοποίηση. Και αυτό είναι το diff για σήμερα. Είμαι ο Νίκος από την Axrisi. Συγχωνεύστε υπεύθυνα.

Πηγές

1. Willisonsimonwillison.net
2. AWS launchaws.amazon.com
3. AWS exact rulesdocs.aws.amazon.com
4. Googlecloud.google.com
5. Kolibrihuggingface.co
6. Tokenizer testtej.as
7. COSMICgithub.com
8. Flatpak exceptiongithub.com
9. HNnews.ycombinator.com