Sebuah pasangan penyelidik dari Universiti Innsbruck di Austria telah membangunkan kaedah untuk menentukan sejauh mana sistem kecerdasan buatan (AI) memahami 'kebolehpercayaan temporal,' satu penanda aras yang boleh mempunyai implikasi penting bagi penggunaan produk AI generatif seperti ChatGPT dalam sektor fintech.
Kebolehpercayaan temporal merujuk kepada sejauh mana kenyataan yang diberikan berkaitan dengan kenyataan lain dari segi masa. Pada dasarnya, ia merujuk kepada nilai berdasarkan masa bagi kenyataan yang dipasangkan. Sebuah AI yang dinilai berdasarkan keupayaannya untuk meramalkan kebolehpercayaan temporal akan diberikan set kenyataan dan diminta untuk memilih yang paling berkaitan melalui masa.
Dalam kertas penyelidikan pra-cetak yang baru-baru ini diterbitkan mereka yang bertajuk "Ramalan Perubahan Kesahan Temporal," Georg Wenzel dan Adam Jatowt menggunakan contoh kenyataan di mana seseorang dinyatakan sedang membaca buku dalam bas.
Para penyelidik mencipta satu set data latihan yang diberi label yang kemudiannya digunakan untuk membina tugas penilaian bagi model bahasa besar (LLM). Mereka memilih ChatGPT sebagai model asas untuk pengujian kerana popularitinya di kalangan pengguna akhir dan mendapati ia tidak berkinerja dengan baik berbanding dengan model yang kurang umum.
CHATGPT berada di antara model yang berkinerja rendah, yang konsisten dengan kajian lain tentang pemahaman TCS. Kelemahan-kelemahannya mungkin disebabkan oleh pendekatan pembelajaran few-shot dan kurangnya pengetahuan tentang ciri-ciri dataset yang spesifik."
Ini menunjukkan bahawa situasi di mana kebolehpercayaan temporal memainkan peranan dalam menentukan kegunaan atau ketepatan - seperti dalam menghasilkan artikel berita atau menilai pasaran kewangan - kemungkinan akan ditangani dengan lebih baik oleh model AI yang ditargetkan daripada perkhidmatan yang lebih umum seperti ChatGPT.
Para penyelidik juga menunjukkan bahawa bereksperimen dengan ramalan perubahan nilai temporal semasa kitaran latihan LLM berpotensi menghasilkan skor yang lebih tinggi dalam tugas penilaian perubahan temporal.
Berkaitan: Melihat ke hadapan: Insiders industri meramalkan cabaran undang-undang AI 2024
Walaupun kertas penyelidikan ini tidak membincangkan implikasi di luar eksperimen itu sendiri, salah satu kelemahan sistem AI generatif kini adalah ketidak mampuannya untuk membezakan antara peristiwa masa lalu dan masa kini dalam satu kumpulan literatur.
Mengajar sistem-sistem ini bagaimana untuk menentukan kenyataan yang paling relevan dalam korpus, dengan faktor keaktifan masa menjadi penentu, boleh mengubah cara model AI membuat ramalan masa nyata yang kuat dalam sektor-sektor berskala besar seperti mata wang kripto dan pasaran saham.
