File model Hugging Face bisa menjalankan kode tersembunyi

Isi video ini

• Bobot model numerik, serialisasi yang dapat dieksekusi, dan kode repositori kustom adalah hal yang berbeda.
• JFrog dan ReversingLabs mendokumentasikan muatan reverse-shell; laporan yang mereka pilih tidak membuktikan pencurian kredensial dari korban yang disebutkan.
• Kebingungan Model Checkmarx adalah demonstrasi penelitian yang membutuhkan model jarak jauh yang cocok dan pemuatan yang tidak aman.
• Pilih safetensors dan loader yang ditambal, tinjau dan pin kode kustom, serta pisahkan paket yang tidak dikenal dari rahasia pribadi dan akses jaringan yang tidak perlu.

Transkrip terjemahan

Diterjemahkan dari narasi asli bahasa Inggris. Audio dan teks tersedia yang dikontrol oleh YouTube.

Bagaimana unduhan model dapat mengundang tamu?

0:00 File model hanyalah angka di disk. Memuat satu paket Hugging Face berbahaya membuka shell jarak jauh, yang merupakan interpretasi ambisius dari AI lokal. Bagaimana pemuatan menjadi eksekusi? Rahasia apa yang bisa dijangkaunya? Apa yang sebenarnya menghentikannya? Dan ingatlah satu teka-teki. Model bisa gagal dimuat setelah bagian berbahaya sudah terjadi.

0:18 Ini adalah The Daily Diff, di balik layarnya. Hugging Face adalah platform untuk berbagi model pembelajaran mesin, data set dan aplikasi. Bobot model adalah angka yang dipelajari. Sebuah repositori juga dapat berisi konfigurasi dan kode Python. Bahaya di sini adalah kemasan yang dapat dieksekusi masuk ke komputer Anda saat Anda memuatnya. Pickle menyimpan objek Python dengan instruksi untuk membangun kembali objek tersebut.

Bagaimana loader menjalankan instruksi paket?

0:37 Loader yang tidak aman dapat mengikuti instruksi tersebut dan memanggil fungsi saat membongkar. Mengunduh byte menempatkan paket di disk Anda. Deserialisasi membukanya. Di suatu tempat, format file telah dipromosikan menjadi administrator sistem yang tidak dibayar. JFrog melaporkan Goober Two pada Februari dua ribu dua puluh empat. Muatan Pickle-nya membuka reverse shell, terhubung keluar untuk menawarkan akses perintah jarak jauh. Repositori tersebut telah dihapus. JFrog juga menemukan petunjuk yang menunjukkan keterlibatan peneliti,

1:02 sehingga atribusi tidak pasti. Tamu yang tidak diinginkan telah didokumentasikan. Pencurian kredensial dari korban sebenarnya tidak dapat dibuktikan.

Rahasia mana yang dapat dijangkau oleh proses tersebut?

1:09 Kode yang berjalan sebagai pengguna Anda dapat membaca apa pun yang dapat dibaca oleh proses tersebut. Kunci cloud yang terpasang atau token yang dapat diakses menjadi target yang memungkinkan. Mengirimnya juga membutuhkan rute jaringan yang berfungsi. Bobot numerik saja tidak memiliki kekuatan kredensial magis. Izin Anda yang menyediakan bagian menarik dari kartu model. Ada pintu lain. Beberapa model meminta Anda untuk memercayai kode jarak jauh, yang mengizinkan Python dari repositori. File safe tensor dapat berada di samping kode tersebut.

1:32 Memeriksa format bobot mencakup satu pintu masuk, sementara kode repositori masih menunggu Anda untuk memberinya lencana pengunjung.

Mengapa jalur lokal yang hilang bisa menjadi model jarak jauh?

1:38 Checkmarx mendemonstrasikan Kebingungan Model. Jalur model lokal yang hilang dapat mengarah ke repositori publik dengan nama yang cocok. Gabungkan itu dengan kode jarak jauh yang diaktifkan, dan paket yang salah dapat dieksekusi. Ini adalah demonstrasi penelitian yang melibatkan sampel perusahaan yang tidak disebutkan namanya, dikoreksi dalam sehari. Folder yang hilang memperoleh pemilik. ReversingLabs melaporkan dua sampel pada Februari dua ribu dua puluh lima,

Bagaimana paket yang rusak menghindari pemindai lama?

1:58 menyebut teknik tersebut nullify AI. Keduanya berisi reverse shell. Kemasan seven zip mereka memblokir pemuatan PyTorch biasa, jadi jalur ini membutuhkan ekstraksi dan deserialisasi yang tidak aman. Aliran Pickle yang rusak juga mengekspos titik buta pemindai. Pemindaian yang gagal harus diselidiki sebelum ada yang membuka paket tersebut. Dalam uji coba tanpa bahaya para peneliti, instruksi menulis file sebelum loader

2:18 mencapai bagian yang rusak dan menimbulkan kesalahan. Bayangkan membuka paket, melepaskan rakun, lalu menyadari pengiriman label tidak valid. Pesan kesalahan tiba dengan tata bahasa yang sangat baik dan waktu yang buruk. Hugging Face menghapus sampel yang dilaporkan dalam dua puluh empat jam dan mengubah pemindai. Temuan spesifik itu mendorong perbaikan. Pemindaian keamanan adalah bukti yang berguna, dan memperlakukan setiap kesalahan pemindai sebagai sertifikat kesehatan tetap merupakan interpretasi kegagalan yang sangat murah hati.

2:43 Pilih safe tensors dan loader yang ditambal saat ini.

Apa yang membuat kunci tidak dapat dijangkau tamu?

2:46 PyTorch mempersempit loader default-nya mulai dari versi dua titik enam. Tinjau kode kustom dan pin revisi yang telah ditinjau. Jalankan paket yang tidak dikenal secara terpisah tanpa kunci pribadi, dengan akses jaringan terbatas. Wadah yang penuh dengan kredensial yang terpasang adalah keranjang hadiah dengan namespace. Teka-teki pembuka itu memiliki jawaban. Kegagalan pemuatan memberi tahu Anda di mana eksekusi berhenti. Instruksi sebelumnya mungkin sudah berjalan.

3:08 Jauhkan rahasia dari jangkauannya sebelum membuka paket. Putusan, di balik layar.

Mengapa saya akan memberi cap NEEDS REVIEW pada ini?

3:16 loader. Unduhan gratis harus dilengkapi dengan model, dan daftar tamu harus tetap menjadi keputusan saya. Jika Anda lebih suka membaca ini daripada mendengar saya mengatakannya, diff akan mendarat di kotak masuk Anda setiap pagi, gratis di the daily diff dot dev, tautan di bawah. Dan itu adalah diff untuk hari ini. Saya Niko dari Axrisi. Gabungkan dengan bertanggung jawab.

Sumber

1. Data Scientists Targeted by Malicious Hugging Face ML Models with Silent BackdoorJFrog
2. Malicious ML models discovered on Hugging Face platformReversingLabs
3. AI Model Confusion: An LLM/AI Model Supply Chain AttackCheckmarx Zero
4. Pickle ScanningHugging Face
5. SafetensorsHugging Face
6. Loading custom modelsHugging Face
7. Serialization semanticsPyTorch