Groq, model kecerdasan buatan (AI) terkini yang muncul, sedang menjadi fenomena di media sosial dengan kelajuan responsnya dan teknologi baru yang mungkin menghilangkan keperluan untuk GPU.
Groq menjadi sensasi seketika setelah ujian benchmark awamnya menjadi viral di platform media sosial X, memperlihatkan komputasi dan kelajuan responsnya yang melebihi popular AI chatbot ChatGPT.
Demo awam pertama menggunakan Groq: Enjin Jawapan AI yang pantas seperti kilat.
— Encik Matt Shumer (@mattshumer_) 19 Februari 2024
Ia menulis jawapan berfakta dan dirujuk dengan beratus-ratus perkataan dalam masa kurang daripada satu saat.
Lebih daripada 3/4 masa dihabiskan untuk mencari, bukan menghasilkan!
LLM berjalan dalam seketika.https://t.co/dVUPyh3XGV https://t.co/mNV78XkoVB pic.twitter.com/QaDXixgSzp
Ini disebabkan oleh pasukan di belakang Groq yang membangunkan cip sirkuit terpadu aplikasi khusus (ASIC) sendiri untuk model bahasa besar (LLM), membolehkannya menghasilkan kira-kira 500 token setiap saat. Sebagai perbandingan, ChatGPT-3.5, versi yang tersedia kepada awam, hanya mampu menghasilkan kira-kira 40 token setiap saat.
Groq Inc, pembangun model ini, mendakwa telah mencipta unit pemprosesan bahasa (LPU) pertama melalui mana ia menjalankan modelnya, bukan menggunakan unit pemproses grafik (GPU) yang terhad dan mahal seperti yang biasa digunakan untuk menjalankan model AI.
Wow, banyak tweet malam ini! Jawapan FAQ.
— Groq Inc (@GroqInc) 19 Februari 2024
• Kami lebih pantas kerana kami mereka bentuk cip & sistem kami
• Ia adalah LPU, Unit Pemprosesan Bahasa (bukan GPU)
• Kami menggunakan model sumber terbuka, tetapi kami tidak melatih mereka
• Kami meningkatkan kapasiti akses setiap minggu, nantikan pic.twitter.com/nFlFXETKUP
Namun, syarikat di belakang Groq bukanlah yang baru. Ia ditubuhkan pada tahun 2016, ketika ia mengambil nama Groq sebagai tanda dagang. Pada bulan November lalu, ketika model AI milik Elon Musk sendiri, juga dipanggil Grok - tetapi dieja dengan "k" - semakin popular, pembangun asal Groq menerbitkan blog pos yang menegur Musk atas pilihan nama tersebut:
"Kami faham mengapa anda mahu mengambil nama kami. Anda suka perkara yang pantas (roket, hyperloop, nama syarikat satu huruf) dan produk kami, Groq LPU Inference Engine, adalah cara terpantas untuk menjalankan model bahasa besar (LLM) dan aplikasi AI generatif lain. Walau bagaimanapun, kami mesti meminta anda untuk memilih nama lain, dan dengan segera."
Sejak Groq menjadi viral di media sosial, baik Musk mahupun laman Grok di X tidak membuat sebarang komen mengenai persamaan antara nama kedua-dua model tersebut.
Berkaitan: Microsoft akan melabur 3 bilion euro dalam pembangunan AI di Jerman
Walau bagaimanapun, ramai pengguna di platform tersebut telah mula membuat perbandingan antara model LPU dan model GPU popular lain.
Seorang pengguna yang bekerja dalam pembangunan AI menyebut Groq sebagai "perubahan permainan" bagi produk yang memerlukan latensi rendah, iaitu masa yang diambil untuk memproses permintaan dan mendapatkan respons.
Groq berbanding GPT-3.5, pengalaman pengguna yang sangat berbeza, perubahan permainan bagi produk yang memerlukan latensi rendah pic.twitter.com/sADBrMKXqm
— Encik Dina Yerlan (@dina_yrl) 19 Februari 2024
Seorang pengguna mengatakan bahawa LPUs Groq boleh memberikan "peningkatan besar" kepada GPU dalam memenuhi keperluan aplikasi AI pada masa depan dan berkata ia juga mungkin menjadi alternatif yang baik kepada cip "peranti keras yang berprestasi tinggi" A100 dan H100 yang diminati yang dihasilkan oleh Nvidia.
Ini berlaku pada masa di industri ketika pembangun AI utama sedang cuba untuk membangunkan cip dalaman agar tidak bergantung hanya pada model Nvidia.
OpenAI dilaporkan mencari trilion dolar dalam pembiayaan daripada kerajaan dan pelabur di seluruh dunia untuk membangunkan cip sendiri bagi mengatasi masalah dalam mengukur produknya.
Majalah: ChatGPT trigger happy dengan nuklear, AI SEGA tahun 80-an, TAO naik 90%: AI Eye