Teknologi

Netflix Luncurkan AI VOID, Gratis untuk Penggunaan Komersial

101
×

Netflix Luncurkan AI VOID, Gratis untuk Penggunaan Komersial

Sebarkan artikel ini
Netflix baru saja merilis model AI publik pertamanya — sebuah framework penghapusan objek video bernama VOID (Video Object and Interaction Deletion) — yang tidak hanya menghapus elemen visual dari sebuah rekaman
Netflix baru saja merilis model AI publik pertamanya — sebuah framework penghapusan objek video bernama VOID (Video Object and Interaction Deletion) — yang tidak hanya menghapus elemen visual dari sebuah rekaman

Contoh lainnya sama mengesankan. Menghapus seseorang yang melompat ke kolam renang menghasilkan rekaman di mana permukaan air tampak tidak tersentuh sama sekali — tidak ada percikan, tidak ada riak — seolah tidak ada objek yang pernah berinteraksi dengan air tersebut.

Arsitektur Teknis: Pipeline Multi-Model yang Kompleks

VOID bukan produk dari satu model tunggal. Ia adalah orkestrasi pipeline multi-model yang menggabungkan beberapa sistem AI dari perusahaan berbeda dalam satu alur kerja terpadu.

Komponen Inti Pipeline VOID

Berikut susunan teknis lengkap yang membentuk sistem VOID:

  • CogVideoX — Model difusi video yang berfungsi sebagai fondasi generatif utama VOID. Model ini disesuaikan (fine-tuned) menggunakan data sintetis dari Kubric milik Google dan dataset HUMOTO dari Adobe untuk kemampuan deteksi interaksi fisik.
  • Gemini 3 Pro (Google) — Bertanggung jawab menganalisis konten adegan secara semantik dan mengidentifikasi seluruh area dalam frame yang terpengaruh oleh keberadaan objek yang akan dihapus.
  • SAM2 (Meta) — Menangani segmentasi objek secara presisi, memisahkan elemen yang akan dihapus dari elemen yang harus dipertahankan.
  • Quadmask — Konsep orisinal dari tim peneliti VOID. Pipeline vision-language reasoning mengodekan wilayah yang terpengaruh ke dalam representasi spasial yang disebut “quadmask”, yang kemudian memandu model difusi dalam proses rekonstruksi.
  • Optical Flow (Opsional, Tahap Kedua) — Digunakan untuk memperbaiki distorsi bentuk residual yang mungkin muncul setelah proses difusi awal.

Kolaborasi lintas ekosistem antara model Google, Meta, dan sistem internal Netflix ini mencerminkan pendekatan best-of-breed dalam membangun pipeline AI produksi — mengambil komponen terkuat dari masing-masing ekosistem dan mengintegrasikannya dalam satu sistem kohesif.

Tim Peneliti dan Kolaborasi Akademik

VOID merupakan hasil kolaborasi antara para peneliti internal Netflix dengan mitra akademik internasional. Tim Netflix yang terlibat terdiri dari Saman Motamed, William Harvey, Benjamin Klein, Zhuoning Yuan, dan Ta-Ying Cheng.

Mereka bekerja bersama Luc Van Gool dari INSAIT (Institute for Computer Science and Artificial Intelligence and Technology) di Sofia University, Bulgaria — salah satu institusi riset AI terkemuka di Eropa Tengah dan Timur.

Dalam makalah pracetak yang telah dipublikasikan, para penulis mendeskripsikan VOID sebagai:

“Kerangka kerja penghapusan objek video yang dirancang untuk melakukan inpainting yang masuk akal secara fisik dalam skenario kompleks ini.”

Formulasi “masuk akal secara fisik” (physically plausible) adalah kunci di sini — dan menjadi pembeda utama VOID dari generasi alat inpainting sebelumnya.

Performa: VOID Unggul Jauh dari Kompetitor

Klaim performa VOID bukan sekadar narasi pemasaran. Ia didukung data dari evaluasi pengguna nyata.

Berdasarkan survei terhadap 25 responden di berbagai skenario penghapusan objek yang berbeda, VOID dipilih sebagai hasil terbaik oleh 64,8 persen peserta. Kompetitor terdekat, Runway, hanya berhasil meraih preferensi dari 18,4 persen responden — selisih yang sangat signifikan dalam evaluasi perseptual.

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *