Google je upravo isporučio hakerski model. Evo razlike.

Šta ovaj video pokriva

• Google isporučuje Gemini 3.8 Flash + Flash Cyber (86,2% CyberGym, Fairwind Program)
• Meta isporučuje Muse Spark 1.3: 1,25 USD/4,25 USD, ili 0,10 USD/0,20 USD ako Meta sme da trenira na njemu
• Tri sajta su napravila 215.128 lažnih stranica "najbolji softver"; Perplexity ih citira

Preveden transkript

Prevedeno sa originalne engleske naracije. Dostupan audio i titlovi kontrolisani su od strane YouTube-a.

0:00 Google je danas isporučio svoj treći Flash model u šest nedelja, plus verziju treniranu za hakovanje, a četiri sata kasnije Meta je isporučila model koji košta deset centi po milionu tokena ako dozvolite Zakerbergu da pročita vaš kod, tako da AI rat cena sada ima odeljenje za sajber bezbednost. Sreda je, a razlika je velika. Gemini 3.8 Flash je dostigao jedanaest stotina poena na Hacker News-u, Muse Spark 1.3 je uzeo skoro sedam stotina više, a između, istraživačka radionica je pronašla tri veb sajta koja su objavila dvesta petnaest hiljada

0:28 lažnih stranica o najboljem softveru čisto da bi ih Perplexity citirao. Takođe danas: objava koja vas moli da se držite svog Firefox-a dobila je devet stotina osamdeset i osam poena, a Mistralova stranica pomoći o isključivanju obuke dobila je skoro pet stotina, uglavnom od Evropljana koji su otkrili da suverena opcija trenira na vašim upitima podrazumevano. U ovom videu: koliko zapravo košta Gemini 3.8 Flash, hakerski model koji Google će prodati samo šest stotina pedeset partnera, Metin nivo od deset centi i koliko zapravo naplaćuje, i jedino merilo koje nijedna kompanija nije napisala.

0:59 Sreda je, 2. septembar, i ovo je The Daily Diff. Gemini 3.8 Flash je sedamdeset pet centi po milionu tokena ulazno i tri sedamdeset pet izlazno, isto kao 3.7 Flash od pre tri nedelje, sa fusnotom koja kaže da se cena udvostručuje 1. januara, što je besplatna probna verzija sa dodatnim koracima. Na benchmarkovima slajd-deka, koji su nepobedivi, postiže 54,9 posto na HLE-Verified, X kaže da pobeđuje Sol i Opus 5 na Terminal-Bench-u, a Logan Kilpatrick je objavio 73,7 na DeepSWE, jedinom dugoročnom

1:29 benchmarku za kodiranje koji još nije memorisan, navodno. Simon Willison ga je zamolio da napravi nešto kul u HTML-u i dobio je simulaciju čestica za trinaest sekundi za 1,8 centi, koja radi na šezdeset frejmova u sekundi, jer je šezdeset bilo hardkodirano u stranicu. Guglova sopstvena objava objašnjava dobitke rečenicom koju bih uramio: 3.8 Flash radi više. Izvršava dodatne korake razmišljanja, iterativno poziva alate, i, citiram, možda koristi više tokena, što je korporativno za brže brojanje. Nezavisni DeepSWE odbor se slaže u oba slučaja: Flash postiže sedamdeset četiri

2:02 procenta, izjednačen sa Opus 5 po petini cene po zadatku, ali mu je bilo potrebno sto šezdeset i šest koraka i sto četrdeset i tri hiljade izlaznih tokena da bi to postigao, više nego dvostruko od onoga što je Sol potrošio. Artificial Analysis je spalio sto četrdeset miliona tokena i hiljadu sedamdeset osam dolara samo da bi ga ocenio. Jeftino po tokenu, brbljivo po zadatku, a prvi token stiže nakon dvanaest sekundi razmišljanja. Zatim zanimljiva polovina.

2:23 Gemini 3.8 Flash Cyber je isti model sa olabavljenim sigurnosnim ogradama za, citiram, pouzdane branioce, a Sundar kaže da postiže 86,2 posto na CyberGym-u, benchmarku za autonomno pronalaženje ranjivosti. Takođe krpi: 47,2 posto na CWE-Bench-u u poređenju sa 47,8 za vodeći model na granici, tim Chrome-a kaže da je proizveo 2,6 puta više ispravnih zakrpa od mnogo većih komercijalnih modela, a Guglovi istraživači u oblaku su ga koristili da pronađu kritičnu ranjivost za manje od dva sata, posao koji obično traje mesecima, ili jednog motivisanog tinejdžera.

2:54 Google insistira da je prioritet bio popravljanje, a ne eksploatacija, što je uljudan način da se kaže da model apsolutno može proći kroz rupe, samo su ga zamolili da to ne radi. Dakle, ne možete ga imati. Pristup ide kroz novi Fairwind Program: vlade, kritična infrastruktura i šest stotina pedeset proverenih partnera sa obaveznim dvofaktorska. Svaka granična laboratorija sada poseduje model hakovanja koji vam neće prodati, a ove nedelje je to jeftin model.

3:16 Četiri sata kasnije, Meta je objavila Muse Spark 1.3, a Zuck ga je nazvao graničnim performansama skoro previše jeftinim za merenje, što je istina, sa jednom zvezdicom veličine Menlo Parka. Normalna krajnja tačka je dolar i dvadeset pet centi ulazno i četiri dolara i dvadeset pet centi izlazno, više od Gemini. Krajnja tačka za saradnike je deset centi ulazno, dvadeset centi izlazno, čitanje keša po petini centa, do dvadeset puta jeftinije, a jedina razlika je kolona koja kaže „korišćeno za poboljšanje naših proizvoda“.

3:40 Dakle, popust je transkript vaše sesije, i po prvi put niko ne mora da čita licencu, jer je Meta licencu napisala kao cenovnik. Glavni komentar: sada je potpuno očigledno koliko vredi krađa mojih tokena. Drugi komentar se pita koliko će proći dok neko ne izvuče AWS ključ iz modela obučenog na upitima saradnika. Na Metinom sopstvenom izveštaju, Spark 1.3 dobija 75.4 na DeepSWE-u, iznad Sol i Opus 5, a Meta kaže da koristi dvadeset posto manje poziva alata

4:06 i dvadeset pet posto manje tokena nego 1.2, što je potpuno suprotna opklada od Google-a, tako da se danas dve najveće reklamne kompanije na svetu ne slažu oko toga da li je više pričanja dobro. U međuvremenu, Trellner Research je pitao Perplexity za najbolji softver u trista osamdeset kategorija i pročitao svaki citat: 59.8 posto je došlo sa sajtova izvan top sto hiljada, Wikipedia je citirana tri puta od sedam i po hiljada, a tri sestrinska sajta sa dvesta petnaest hiljada

4:34 generisanih vodiča za kupovinu nazivaju svoje početne stranice „Činjenice i stranica sa osnovama“, adresirano na kroler, a ne na vas. Rat AI SEO je počeo, a njegovo prvo oružje je regex sa marketinškim budžetom. To je mnogo cena za jednu sredu; ako biste radije ovo pročitali nego čuli od mene, The Daily Diff stiže u vašu poštu svakog jutra — besplatno na daily diff dot dev, link ispod. Dakle, današnja presuda: SHIP IT. Gemini 3.8 Flash izjednačuje Opus 5 na jednoj tabli koju Google nije napisao,

5:00 za petinu cene. Samo pročitajte račun za tokene i pročitajte zaglavlja Metinih kolona. To je današnji The Daily Diff. Ja sam Niko iz Axrisi. Spajajte odgovorno.

Izvori

1. Introducing Gemini 3.8 Flash and 3.8 Flash Cyberblog.google
2. Fairwind Programblog.google
3. DeepSWE v1.1 leaderboarddeepswe.datacurve.ai
4. Artificial Analysis: Gemini 3.8 Flashartificialanalysis.ai
5. Muse Spark 1.3 pricingdeveloper.meta.com
6. Introducing Muse Spark 1.3research.meta.ai
7. Hang on to Your Firefoxwww.newsonaut.com
8. Mistral: opting out of traininghelp.mistral.ai
9. HN: Gemini 3.8 Flashnews.ycombinator.com
10. HN: Muse Spark 1.3news.ycombinator.com
11. HN: 215,128 "best software" pagesnews.ycombinator.com