Ograničenja potrošnje na AWS-u mogu izbrisati vaš projekt

Šta ovaj video pokriva

• Šta zapravo može zaštititi ograničenje potrošnje u oblaku?
• Kako AWS zapravo zaustavlja potrošnju projekta?
• Ko dobija nova ograničenja potrošnje AWS-a?
• Šta Google ograničava, a šta se nastavlja naplaćivati?
• Koliko je mali novi njemački model otvorene težine?

Prevedeni transkript

Prevedeno iz originalne engleske naracije. Dostupan zvuk i titlovi kontroliše YouTube.

Šta zapravo može zaštititi ograničenje potrošnje u oblaku?

0:00 Ograničenje potrošnje znači da je vaš sporedni projekt siguran. Novo ograničenje AWS-a može ga pauzirati, a ostavljanje pauziranog može na kraju izbrisati podatke. U ovom videu, šta zaustavlja račun? U čemu je kvaka? Ko zapravo dobija ova ograničenja? Postoji odbrojavanje u dokumentaciji AWS-a. Pratit ćemo ga sve do dugmeta za brisanje. Nedjelja je, četvrti oktobar, i ovo je The Daily Diff.

0:20 U subotu, Simon Willison je pozvao na podrazumijevana ograničenja potrošnje dok agenti čine postavljanje softvera lakšim. Njemačka je objavila Kolibri, dok su održavaoci Cosmica povukli liniju oko AI doprinosa. Willisonov argument je bolno poznat. Upozorenje e-poštom stiže u ponoć, usluga nastavlja trošiti, i budite se kao nevoljni sponzor vlastite beskonačne petlje. AWS je u septembru uveo ograničenja potrošnje projekata u svom pojednostavljenom iskustvu za graditelje.

Kako AWS zapravo zaustavlja potrošnju projekta?

0:44 Kada korištenje dostigne limit, AWS pauzira projekt i zaustavlja njegove resurse. Vaši podaci su u početku sačuvani. To je stvarna promjena u ugovoru o proizvodu. Kupac može ovlastiti oblak da prekine eksperiment. Upozorenje o potrošnji prepušta odluku onome ko čita svoj inbox. Agent za kodiranje može dodijeliti resurse dok vi pripremate večeru. Račun pripada vlasniku računa, koji je nekako postao i inženjerski odjel i finansijski odjel.

1:09 Implementacija je ograničena, i potreban vam je plaćeni plan da postavite ograničenje.

Ko dobija nova ograničenja potrošnje AWS-a?

1:13 Ovo pripada novom projektnom iskustvu. Provjerite dostupnost prije nego što pretpostavite da vaš postojeći račun ima iste kontrole. Ograničenje se odnosi na troškove prije poreza i isključuje kredite. Minimum je dvadeset dolara ili konzervativna procjena potrošnje AWS-a, šta god je veće. Već pokrenuti resursi mogu podići taj minimum. To je važno za zanemareni sandbox pun skupih mašina. Možda ćete ih morati zaustaviti prije postavljanja manjeg ograničenja.

1:36 Finansijski savjet oblaka počinje isključivanjem računara. AWS takođe nudi opcionalne rane kontrole. Otprilike sedmicu dana prije predviđenog limita, može blokirati nove resurse. Vaše postojeće instance ostaju pokrenute, dok autoskalirajući grupa može izgubiti dozvolu za proširenje. Ostale opcije pauziraju neaktivne resurse, zatim najskuplje pokretače troškova kako se prognoza približava. SageMaker krajnja tačka bez poziva dvije sedmice kvalifikuje se kao neaktivna. Vaš zaboravljeni demo konačno dobija izlazni intervju.

2:03 Willison želi da se stroga ograničenja uključe po defaultu, s neograničenom potrošnjom kao eksplicitnim izborom. To je njegov prijedlog. Dokumentacija AWS-a opisuje kontrole koje konfigurišete, sa ograničenim pristupom tokom ove implementacije. Google je najavio vlastita ograničenja potrošnje u julu.

Šta Google ograničava, a šta se nastavlja naplaćivati?

2:17 U javnom pregledu, oni ciljaju jednu uslugu unutar jednog projekta, a Google kaže da se AI ograničenja aktiviraju unutar minuta od dostizanja praga. Navedene usluge uključuju Gemini i Cloud Run. Ostale usluge ostaju nepromijenjene. Fiksne ugovorne obaveze nastavljaju se naplaćivati, tako da pauziranje novog korištenja i dalje ostavlja sve obaveze koje ste već potpisali na računu. Za posao, neočekivano isključenje takođe može biti skupo. AWS eksplicitno postavlja ova ograničenja oko eksperimenata i sandboxova,

2:43 s proizvodnom upotrebom koja zavisi od toga da li je pauza resursa prihvatljiva. Moja developerska poruka je jednostavna. Stavite eksperimentalne agente u zaseban projekt, provjerite koje troškove ograničenje pokriva i testirajte svoj proces oporavka. Zaštitna ograda treba vlasnika koji primjećuje kada se aktivira.

Koliko je mali novi njemački model otvorene težine?

2:57 U međuvremenu, Aleph Alpha je objavila Kolibri, model otvorene težine za njemački i engleski jezik. Njegova početna animacija kaže mala ptica, brza krila. Težine su dostupne pod Apache 2.0 licencom. Chubby je to nazvao iznenađujuće snažnim izdanjem iz Njemačke. Korisni dio je kontrola implementacije. Kompanija može držati težine i pokretati svoje dokumente kroz infrastrukturu koju posjeduje. Oko tri i pol milijarde parametara rade na svakom tokenu, ali cijeli model ima sedamdeset osam milijardi.

3:22 Njegove objavljene težine zauzimaju oko sedamdeset osam gigabajta, tako da mala ptica i dalje treba veliki kavez. Tejas Kumar je nezavisno testirao svoj tokenizer na njemačkom ustavu. Koristio je oko petnaest posto manje tokena od OpenAI-jevog tokenizera na njemačkom. Na engleskom prijevodu, bili su praktično izjednačeni. To je usko, korisno mjerenje efikasnosti njemačkog teksta. Kaže da sam model nije pokrenuo. Zadržite tu razliku kada se prijateljski grafikon pokretanja pokuša pretvoriti u vaš

3:46 odjel nabave. A Cosmic kompozitor System76 sada traži od

Šta tačno COSMIC odbija u pull zahtjevima?

3:50 saradnika da potvrde da njihov pull request ne sadrži sadržaj generiran jezičkim modelom. Predložak eksplicitno uključuje kod, komentare i opise. Saradnici takođe obećavaju da razumiju i testirali su promjenu. Flatpak repozitorij ima izuzetak za vlastiti izvorni kod aplikacije i manifest. Pročitajte stvarni predložak prije nego što cijeli projekt tretirate kao jedno pravilo. Mašina može proizvesti drugu zakrpu za nekoliko sekundi. Neko je i dalje mora pročitati.

4:14 Danas oblak postavlja ograničenja na eksperiment, a održavaoci postavljaju ograničenja na red za pregled. Vratimo se na taj pauzirani AWS projekt. Povećanje limita potrošnje može ga reaktivirati, a neki resursi mogu zahtijevati ručne restartove. Oporavak je procedura koju biste trebali razumjeti prije nego što agent potroši dozvoljeno. Odbrojavanje je devedeset dana.

Kada pauza postaje trajni gubitak podataka?

4:31 AWS kaže da ako ne poduzmete nikakve radnje u tom roku nakon što je projekt pauziran, trajno briše podatke projekta. Napravite sigurnosnu kopiju izvan radijusa eksplozije tog projekta. Zaustavljen račun i zadržana sigurnosna kopija su dva odvojena posla. Želim ograničenje, i želim plan oporavka. Moj napušteni vikend prototip treba da ode u penziju dostojanstveno. Ako biste ovo radije pročitali nego čuli, diff stiže u vaš inbox svako jutro, besplatno na thedailydiff.dev, link ispod.

Kakva je moja presuda o novim kontrolama potrošnje?

4:55 Dakle, današnja presuda, POTREBAN PREGLED. Pozdravljam nametnuta ograničenja potrošnje. Provjerio bih dostupnost, pokrivene troškove i oporavak prije nego što agentu predam račun. Sat za brisanje od devedeset dana zaslužuje vrlo vidljivo upozorenje. I to je diff za danas. Ja sam Niko iz Axrisija. Spojite odgovorno.

Izvori

1. Willisonsimonwillison.net
2. AWS launchaws.amazon.com
3. AWS exact rulesdocs.aws.amazon.com
4. Googlecloud.google.com
5. Kolibrihuggingface.co
6. Tokenizer testtej.as
7. COSMICgithub.com
8. Flatpak exceptiongithub.com
9. HNnews.ycombinator.com