Penyelidik Keselamatan IBM baru-baru ini menemui teknik "mengganggu dan mengubah percakapan secara langsung" yang "menghairankan dan menakutkan" menggunakan kecerdasan buatan (AI).
Serangan ini, yang dikenali sebagai "audio-jacking," bergantung pada AI generatif - kelas AI yang termasuk ChatGPT dari OpenAI dan Llama-2 dari Meta - dan teknologi audio deepfake.
Audio jacking
Dalam eksperimen ini, penyelidik memerintahkan AI untuk memproses audio dari dua sumber dalam komunikasi langsung - seperti percakapan telepon. Apabila mendengar kata kunci atau frasa tertentu, AI diperintahkan untuk mengintersep audio yang berkaitan dan mengubahnya sebelum menghantarkannya kepada penerima yang dituju.
Menurut catatan blog dari IBM Security, eksperimen tersebut berakhir dengan AI yang berjaya mengintersep audio seorang pembicara apabila mereka diminta oleh pembicara manusia lain untuk memberikan maklumat akaun bank mereka. AI kemudian menggantikan suara asli dengan audio deepfake, memberikan nombor akaun yang berbeza. Serangan ini tidak terdetect oleh "mangsa" dalam eksperimen tersebut.
AI Generatif
Blog tersebut menunjukkan bahawa, walaupun melaksanakan serangan ini memerlukan tahap kejuruteraan sosial atau phishing, membangunkan sistem AI itu sendiri tidak menimbulkan cabaran yang besar:
"Membina PoC [proof-of-concept] ini adalah menghairankan dan menakutkan mudah. Kebanyakan masa kami dihabiskan untuk mencari cara untuk merakam audio dari mikrofon dan memberikan audio kepada AI generatif."
Secara tradisional, membangunkan sistem untuk mengintersep rentetan audio tertentu secara autonomi dan menggantikannya dengan fail audio yang dihasilkan secara langsung akan memerlukan usaha sains komputer multidisiplin.
Tetapi AI generatif moden melakukan sebahagian besar kerja berat itu sendiri. "Kami hanya memerlukan tiga saat suara individu untuk mengklonnya," baca blog tersebut, menambah bahawa, pada masa kini, deepfake seperti ini dilakukan melalui API.
Ancaman audio jacking melampaui penipuan mangsa yang tidak tahu apa-apa dan memasukkan dana ke akaun yang salah. Penyelidik juga menunjukkan bahawa ia boleh berfungsi sebagai bentuk sensoran yang tidak kelihatan, dengan potensi untuk mengubah kandungan siaran berita langsung atau ucapan politik secara real time.