Mendapatkan ChatGPT beroperasi secara autonom dalam batasan sistem operasi telah terbukti menjadi tugas yang sukar dengan pelbagai sebab, tetapi pasukan yang terdiri daripada ahli sains dari Microsoft Research dan Universiti Peking mungkin telah menemui rahsia kejayaannya.
Pasukan ini telah menjalankan satu kajian untuk menentukan mengapa model bahasa besar kecerdasan buatan (AI) seperti GPT-4 gagal dalam tugas yang memerlukan manipulasi sistem operasi.
Sistem terkini seperti ChatGPT yang berjalan pada GPT-4 menetapkan tahap prestasi untuk tugas generatif seperti menyusun e-mel atau menulis puisi. Namun, membuat mereka bertindak sebagai ejen dalam persekitaran umum merupakan satu cabaran yang besar.
Secara tradisinya, model AI dilatih untuk meneroka melalui pembelajaran penguatan dalam persekitaran maya. Pembangun AI telah menggunakan versi yang diubahsuai daripada permainan video popular seperti Super Mario Bros. dan Minecraft untuk "mengajar" model konsep seperti penerokaan yang dipandu sendiri dan pencarian matlamat.
Tetapi sistem operasi adalah satu medan yang berbeza untuk model AI. Sebagai ejen, melakukan fungsi dalam OS sering kali menjadi satu cabaran multimodal yang memerlukan pertukaran maklumat antara komponen, program, dan aplikasi yang berbeza.
Secara umumnya, pendekatan latihan penguatan memerlukan percubaan dan ralat. Walau bagaimanapun, seperti yang diketahui oleh sesiapa yang telah memasukkan kata laluan mereka dengan salah terlalu banyak kali, atau lupa aplikasi mana yang menggunakan pintasan kerja, data boleh hilang dengan mudah apabila menggunakan pendekatan tersebut dalam persekitaran sistem operasi.
Berkaitan: ChatGPT trigger happy dengan nuklear, AI SEGA tahun 80-an, TAO naik 90%: AI Eye
Peneliti bekerjasama dengan pelbagai model bahasa besar termasuk Llama2 70B sumber terbuka Meta dan GPT-3.5 dan GPT-4 OpenAI. Menurut kajian ini, tiada satu pun daripada mereka berprestasi dengan baik.
Menurut kertas pasukan ini, ini kerana cabaran tersebut melebihi keupayaan AI hari ini:
"Pertama, ruang tindakan adalah luas dan dinamik. ... Kedua, tugas dunia nyata sering memerlukan kerjasama antara aplikasi, memerlukan perancangan jauh ke hadapan daripada ejen LLM. Ketiga, ejen perlu mengenal pasti penyelesaian optimum yang sejajar dengan kekangan pengguna, seperti kebimbangan keselamatan dan keutamaan."
Untuk pasukan ini mencari cara untuk mengatasi cabaran ini, mereka pertama-tama perlu memahami mengapa LLM gagal dalam memanipulasi sistem operasi apabila beberapa model AI mampu melakukan kejayaan luar biasa seperti mengalahkan semua lawan dalam catur dan Go.
Pasukan ini telah membangunkan persekitaran latihan baru yang dipanggil AndroidArena yang membolehkan LLM meneroka persekitaran yang serupa dengan Android OS. Kemudian, setelah mencipta tugas ujian dan sistem penanda aras, mereka mengenal pasti kekurangan empat keupayaan utama sebagai punca masalah: pemahaman, penalaran, penerokaan, dan refleksi.
Walaupun skop kerja ini khusus untuk mengenal pasti masalah, semasa proses penyelidikan pasukan ini sebenarnya menemui kaedah "mudah" untuk meningkatkan ketepatan model sebanyak 27%.
Pada dasarnya, pasukan ini memberikan model dengan maklumat automatik mengenai jumlah percubaan yang telah dilakukan sebelumnya dan apa yang telah dicuba semasa percubaan tersebut. Ini menangani masalah "refleksi" dengan cara membenamkan ingatan dalam rangsangan yang digunakan untuk memicu model.
Penemuan ini boleh membuktikan kepentingannya dalam usaha untuk membina pembantu AI yang lebih baik dan,
