AWS ograničenja potrošnje mogu izbrisati vaš projekt

Što ovaj video pokriva

• Što zapravo može zaštititi ograničenje potrošnje u oblaku?
• Kako AWS zapravo zaustavlja potrošnju projekta?
• Tko dobiva AWS-ova nova ograničenja potrošnje?
• Što Google ograničava, a što se nastavlja naplaćivati?
• Koliko je mali njemački novi model otvorene težine?

Prevedeni transkript

Prevedeno iz izvornog engleskog pripovijedanja. Dostupni zvuk i titlovi kontroliraju se putem YouTubea.

Što zapravo može zaštititi ograničenje potrošnje u oblaku?

0:00 Ograničenje potrošnje znači da je vaš sporedni projekt siguran. AWS-ovo novo ograničenje može ga pauzirati, a ostavljajući ga pauziranim, na kraju se može izbrisati podaci. U ovom videu, što zaustavlja račun? U čemu je kvaka? Tko zapravo dobiva ta ograničenja? Postoji odbrojavanje u AWS-ovoj dokumentaciji. Pratit ćemo ga sve do gumba za brisanje. Nedjelja je, četvrti listopad, a ovo je The Daily Diff.

0:20 U subotu je Simon Willison pozvao na zadana ograničenja potrošnje jer agenti čine postavljanje softvera lakšim. Njemačka je objavila Kolibri, dok su održavatelji Cosmica povukli crtu oko doprinosa AI-ja. Willisonov argument je bolno poznat. Upozoravajuća e-pošta stiže u ponoć, usluga nastavlja trošiti, i budite se kao nevoljni sponzor vlastite beskonačne petlje. AWS je u rujnu uveo ograničenja potrošnje projekta u svom pojednostavljenom iskustvu za

Kako AWS zapravo zaustavlja potrošnju projekta?

0:44 graditelje. Kada upotreba dosegne ograničenje, AWS pauzira projekt i zaustavlja njegove resurse. Vaši podaci su u početku sačuvani. To je stvarna promjena u ugovoru o proizvodu. Kupac može ovlastiti oblak da prekine eksperiment. Upozorenje o potrošnji prepušta odluku onome tko čita njihovu pristiglu poštu. Agent za kodiranje može osigurati resurse dok vi pripremate večeru. Račun pripada vlasniku računa, koji je nekako postao i inženjerski odjel i financijski odjel.

1:09 Implementacija je ograničena, a za postavljanje ograničenja potreban vam je plaćeni plan.

Tko dobiva AWS-ova nova ograničenja potrošnje?

1:13 Ovo pripada novom iskustvu projekta. Provjerite dostupnost prije nego što pretpostavite da vaš postojeći račun ima iste kontrole. Gornja granica primjenjuje se na naplate prije poreza i isključuje kredite. Minimum je dvadeset dolara ili AWS-ova konzervativna procjena potrošnje, što god je više. Već pokrenuti resursi mogu podići taj minimum. To je važno za zanemareni sandbox pun skupih strojeva. Možda ćete ih morati zaustaviti prije postavljanja manjeg ograničenja.

1:36 Financijski savjeti oblaka počinju isključivanjem računala. AWS također nudi opcionalne rane kontrole. Otprilike tjedan dana prije predviđenog ograničenja, može blokirati nove resurse. Vaše postojeće instance ostaju pokrenute, dok grupa za automatsko skaliranje može izgubiti dopuštenje za proširenje. Druge opcije pauziraju neiskorištene resurse, zatim najskuplje pokretače kako se prognoza približava. SageMaker krajnja točka bez poziva dva tjedna kvalificira se kao neiskorištena. Vaš zaboravljeni demo konačno dobiva izlazni razgovor.

2:03 Willison želi da se stroga ograničenja uključe prema zadanim postavkama, s neograničenom potrošnjom kao izričitim izborom. To je njegov prijedlog. AWS-ova dokumentacija opisuje kontrole koje konfigurirate, s ograničenim pristupom tijekom ove implementacije. Google je u srpnju najavio vlastita ograničenja potrošnje.

Što Google ograničava, a što se nastavlja naplaćivati?

2:17 U javnom pregledu, oni ciljaju jednu uslugu unutar jednog projekta, a Google kaže da se AI ograničenja aktiviraju unutar minuta od dosezanja praga. Navedene usluge uključuju Gemini i Cloud Run. Druge usluge ostaju nepromijenjene. Fiksne ugovorne obveze nastavljaju naplaćivati, pa pauziranje nove upotrebe i dalje ostavlja sve obveze koje ste već potpisali na računu. Za posao, neočekivano isključenje također može biti skupo. AWS izričito postavlja ta ograničenja oko eksperimenata i sandboxova,

2:43 s produkcijskom upotrebom ovisno o tome je li pauza resursa prihvatljiva. Moja razvojna pouka je jednostavna. Stavite eksperimentalne agente u zaseban projekt, provjerite koje troškove ograničenje pokriva i testirajte svoj postupak oporavka. Zaštita treba vlasnika koji primjećuje kada se aktivira.

Koliko je mali njemački novi model otvorene težine?

2:57 U međuvremenu, Aleph Alpha je objavio Kolibri, model otvorene težine za njemački i engleski. Njegova početna animacija kaže: mala ptica, brza krila. Težine su dostupne pod Apache 2.0 licencom. Chubby ga je nazvao iznenađujuće snažnim izdanjem iz Njemačke. Koristan dio je kontrola implementacije. Tvrtka može držati težine i pokretati svoje dokumente kroz infrastrukturu koju posjeduje. Oko tri i pol milijarde parametara radi na svakom tokenu, ali cijeli model ima sedamdeset osam milijardi.

3:22 Njegove objavljene težine zauzimaju oko sedamdeset osam gigabajta, tako da mala ptica još uvijek treba veliki kavez. Tejas Kumar neovisno je testirao njegov tokenizator na njemačkom ustavu. Upotrijebio je oko petnaest posto manje tokena nego OpenAI-jev tokenizator na njemačkom. Na engleskom prijevodu, bili su praktički izjednačeni. To je usko, korisno mjerenje učinkovitosti njemačkog teksta. Kaže da sam model nije pokrenuo. Zadržite tu razliku kada se prijateljska tablica lansiranja pokuša pretvoriti u vaš

3:46 odjel za nabavu. A System76-ov Cosmic kompozitor sada traži od

Što točno COSMIC odbija u zahtjevima za povlačenje?

3:50 suradnika da potvrde da njihov zahtjev za povlačenje ne sadrži sadržaj generiran jezikom modela. Predložak izričito uključuje kod, komentare i opise. Suradnici također obećavaju da razumiju i testiraju promjenu. Flatpak repozitorij ima iznimku za vlastiti izvor aplikacije i manifest. Pročitajte stvarni predložak prije nego što cijeli projekt tretirate kao jedno pravilo. Stroj može proizvesti drugu zakrpu u sekundi. Netko je još uvijek mora pročitati.

4:14 Danas oblak postavlja ograničenja na eksperiment, a održavatelji postavljaju ograničenja na red za pregled. Natrag na taj pauzirani AWS projekt. Povećanje ograničenja potrošnje može ga ponovno aktivirati, a neki resursi možda će trebati ručno ponovno pokretanje. Oporavak je postupak koji biste trebali razumjeti prije nego što agent potroši dopuštenje. Odbrojavanje je devedeset dana.

Kada pauza postaje trajan gubitak podataka?

4:31 AWS kaže da ako ne poduzmete nikakve radnje unutar tog vremena nakon što je projekt pauziran, trajno briše podatke projekta. Napravite sigurnosnu kopiju izvan radijusa eksplozije tog projekta. Zaustavljeni račun i zadržana sigurnosna kopija dva su odvojena posla. Želim ograničenje i želim plan oporavka. Moj napušteni prototip za vikend trebao bi se povući s dostojanstvom. Ako biste ovo radije pročitali nego čuli kako to govorim, diff stiže u vašu pristiglu poštu svako jutro, besplatno na thedaily diff.dev, link ispod.

Kakva je moja presuda o novim kontrolama potrošnje?

4:55 Dakle, današnja presuda, NEEDS REVIEW. Pozdravljam nametnuta ograničenja potrošnje. Provjerio bih dostupnost, pokrivene troškove i oporavak prije nego što agentu predam račun. Odbrojavanje brisanja od devedeset dana zaslužuje vrlo vidljivo upozorenje. I to je diff za danas. Ja sam Niko iz Axrisija. Spojite odgovorno.

Izvori

1. Willisonsimonwillison.net
2. AWS launchaws.amazon.com
3. AWS exact rulesdocs.aws.amazon.com
4. Googlecloud.google.com
5. Kolibrihuggingface.co
6. Tokenizer testtej.as
7. COSMICgithub.com
8. Flatpak exceptiongithub.com
9. HNnews.ycombinator.com