Stropi porabe v AWS lahko izbrišejo vaš projekt

Kaj zajema ta videoposnetek

• Kaj lahko dejansko zaščiti omejitev porabe v oblaku?
• Kako AWS dejansko ustavi porabo projekta?
• Kdo dobi nove omejitve porabe AWS?
• Kaj omejuje Google in kaj se še vedno obračunava?
• Kako majhen je novi nemški model z odprto težo?

Preveden prepis

Prevedeno iz izvirnega angleškega pripovedovanja. Razpoložljivi zvok in podnapisi so nadzorovani s strani YouTuba.

Kaj lahko dejansko zaščiti omejitev porabe v oblaku?

0:00 Omejitev porabe pomeni, da je vaš stranski projekt varen. Nova omejitev AWS ga lahko začasno ustavi, in če ostane začasno ustavljen, lahko sčasoma izbriše podatke. V tem videu, kaj ustavi račun? Kakšna je past? Kdo dejansko dobi te omejitve? V dokumentaciji AWS je odštevanje. Sledili mu bomo vse do gumba za izbris. Je nedelja, četrti oktober, in to je The Daily Diff.

0:20 V soboto je Simon Willison pozval k privzetim omejitvam porabe, saj agenti omogočajo lažjo namestitev programske opreme. Nemčija je izdala Kolibri, medtem ko so vzdrževalci Cosmica postavili mejo okoli prispevkov z umetno inteligenco. Willisonov argument je boleče znan. Opozorilno e-pošto prejmete opolnoči, storitev še naprej porablja, vi pa se zbudite kot neprostovoljni sponzor lastne neskončne zanke. AWS je septembra uvedel omejitve porabe projekta v svoji poenostavljeni izkušnji za ustvarjalce.

Kako AWS dejansko ustavi porabo projekta?

0:44 Ko poraba doseže omejitev, AWS pavzira projekt in ustavi njegove vire. Vaši podatki so sprva ohranjeni. To je resnična sprememba v pogodbi o izdelku. Stranka lahko oblaku dovoli prekinitev eksperimenta. Opozorilo o porabi prepušča odločitev tistemu, ki bere svojo e-pošto. Agent za kodiranje lahko zagotovi vire, medtem ko vi pripravljate večerjo. Račun pripada lastniku računa, ki je nekako postal tako inženirski oddelek kot tudi finančni oddelek.

1:09 Uvedba je omejena in za nastavitev omejitve potrebujete plačljiv načrt.

Kdo dobi nove omejitve porabe AWS?

1:13 To spada k novi projektni izkušnji. Preverite razpoložljivost, preden domnevate, da ima vaš obstoječi račun enake kontrole. Zgornja meja velja za stroške pred davkom in izključuje kredite. Minimum je dvajset dolarjev ali konservativna ocena porabe AWS, kar je višje. Že delujoči viri lahko ta minimum povišajo. To je pomembno za zanemarjen peskovnik, poln dragih strojev. Morda jih boste morali ustaviti, preden nastavite manjšo omejitev.

1:36 Finančni nasveti v oblaku se začnejo z izklopom računalnika. AWS ponuja tudi izbirne zgodnje kontrole. Približno teden dni pred predvideno omejitvijo lahko blokira nove vire. Vaši obstoječi primeri ostanejo v delovanju, medtem ko lahko skupina za samodejno skaliranje izgubi dovoljenje za širitev. Druge možnosti pavzirajo mirujoče vire, nato pa najdražje gonilnike, ko se napoved približa bliža. SageMaker končna točka z nič klici dva tedna se kvalificira kot mirujoča. Vaš pozabljeni demo končno prejme izstopni intervju.

2:03 Willison želi, da so trde omejitve privzeto vklopljene, z neomejeno porabo kot izrecno izbiro. To je njegov predlog. Dokumentacija AWS opisuje kontrole, ki jih konfigurirate, z omejenim dostopom med to uvedbo. Google je julija napovedal lastne omejitve porabe.

Kaj omejuje Google in kaj se še vedno obračunava?

2:17 V javnem predogledu ciljajo na eno storitev znotraj enega projekta, in Google pravi, da se omejitve AI sprožijo v nekaj minutah po dosegu praga. Naštete storitve vključujejo Gemini in Cloud Run. Druge storitve ostajajo nespremenjene. Fiksne pogodbene obveznosti se še vedno obračunavajo, zato pavziranje nove uporabe še vedno pusti vse obveznosti, ki ste jih že podpisali, na računu. Za podjetje je nepričakovana zaustavitev lahko tudi draga. AWS te omejitve izrecno uokvirja okoli eksperimentov in peskovnikov,

2:43 pri čemer je uporaba v produkciji odvisna od tega, ali je pavza vira sprejemljiva. Moj razvojni poudarek je preprost. Eksperimentalne agente postavite v ločen projekt, preverite, katere stroške omejitev pokriva, in preizkusite postopek obnovitve. Zaščitna ograja potrebuje lastnika, ki opazi, ko se sproži.

Kako majhen je novi nemški model z odprto težo?

2:57 Medtem je Aleph Alpha izdal Kolibri, model z odprto težo za nemščino in angleščino. Njegova zagonska animacija pravi: majhna ptica, hitra krila. Uteži so na voljo pod licenco Apache 2.0. Chubby jo je označil za presenetljivo močno izdajo iz Nemčije. Koristen del je nadzor nad namestitvijo. Podjetje lahko hrani uteži in poganja svoje dokumente skozi infrastrukturo, ki jo ima v lasti. Približno tri in pol milijarde parametrov deluje na vsakem žetonu, vendar ima celoten model oseminsedemdeset milijard.

3:22 Njegove objavljene uteži zasedajo približno oseminsedemdeset gigabajtov, tako da majhna ptica še vedno potrebuje veliko kletko. Tejas Kumar je neodvisno preizkusil njegov tokenizer na nemški ustavi. Uporabil je približno petnajst odstotkov manj žetonov kot OpenAI-jev tokenizer v nemščini. Pri angleškem prevodu sta bila učinkovito izenačena. To je ozka, uporabna meritev učinkovitosti nemškega besedila. Pravi, da samega modela ni zagnal. Upoštevajte to razliko, ko se prijazen grafikon ob zagonu poskuša spremeniti v vaš

3:46 nabavni oddelek. In Cosmic compositor podjetja System76 zdaj zahteva,

Kaj točno COSMIC zavrača v zahtevkih za poteg (pull requests)?

3:50 da prispevovalci potrdijo, da njihov zahtevek za poteg ne vsebuje vsebine, generirane z jezikovnim modelom. Predloga izrecno vključuje kodo, komentarje in opise. Prispevovalci tudi obljubijo, da razumejo in so preizkusili spremembo. Repozitorij Flatpak ima izjemo za lasten vir aplikacije in manifest. Preberite dejansko predlogo, preden celoten projekt obravnavate kot eno pravilo. Stroj lahko v nekaj sekundah izdela nov popravek. Nekdo ga mora še vedno prebrati.

4:14 Danes oblak postavlja omejitve na eksperiment, in vzdrževalci postavljajo omejitve na čakalno vrsto za pregled. Nazaj k tistemu pavziranemu projektu AWS. Povečanje omejitve porabe ga lahko ponovno aktivira, nekateri viri pa bodo morda potrebovali ročne ponovne zagone. Obnovitev je postopek, ki ga morate razumeti, preden agent porabi dovoljenje. Odštevanje je devetdeset dni.

Kdaj pavza postane trajna izguba podatkov?

4:31 AWS pravi, da če v tem času po pavziranju projekta ne ukrepate, trajno izbriše podatke projekta. Izdelajte varnostno kopijo izven območja uničenja tega projekta. Ustavljen račun in shranjena varnostna kopija sta dve ločeni nalogi. Želim omejitev in želim načrt obnovitve. Moj zapuščeni vikend prototip bi se moral upokojiti dostojanstveno. Če bi raje to prebrali, kot pa da me slišite, diff pristane v vašem nabiralniku vsako jutro, brezplačno na thedailydiff.dev, povezava spodaj.

Kakšna je moja sodba o novih kontrolah porabe?

4:55 Torej današnja sodba, POTREBUJE PREGLED. Pozdravljam uveljavljene omejitve porabe. Preveril bi razpoložljivost, kritje stroškov in obnovitev, preden bi agentu izročil račun. 90-dnevna ura za izbris si zasluži zelo vidno opozorilo. In to je diff za danes. Jaz sem Niko iz Axrisi. Spojite odgovorno.

Viri

1. Willisonsimonwillison.net
2. AWS launchaws.amazon.com
3. AWS exact rulesdocs.aws.amazon.com
4. Googlecloud.google.com
5. Kolibrihuggingface.co
6. Tokenizer testtej.as
7. COSMICgithub.com
8. Flatpak exceptiongithub.com
9. HNnews.ycombinator.com