Stability AI dengan cepat merilis model fine-tuning Llama 2 FreeWilly, yang kinerjanya sebanding dengan ChatGPT! Netizen berseru bahwa aturan permainan telah berubah

Sumber: Xinzhiyuan

Kurang dari dua hari setelah rilis Llama 2, unicorn Stability AI dengan cepat menyempurnakan model FreeWilly, yang dikatakan memiliki kinerja yang sebanding dengan ChatGPT.

Segera setelah Meta's Llama 2 dirilis, itu meledakkan seluruh komunitas open source.

Seperti yang dikatakan ilmuwan OpenAI Karpathy, ini adalah hari yang sangat penting untuk seluruh bidang model bahasa besar. Dari semua model dengan bobot terbuka, Llama 2 adalah yang paling bertenaga.

Sejak saat itu, kesenjangan antara model besar sumber terbuka dan model besar sumber tertutup akan semakin menyempit, dan kesempatan untuk membangun model besar akan sama bagi semua pengembang.

Baru saja, Stability AI dan CarperAI Labs bersama-sama merilis model penyempurnaan berdasarkan model LLaMA 2 70B - FreeWilly2.

Dan, berdasarkan penyempurnaan model asli LLaMA 65B - FreeWilly1.

Perlu dicatat bahwa model ini dilatih pada kumpulan data sintetik baru berdasarkan format Alpaca standar dan menjalani penyetelan halus yang diawasi (SFT).

Dalam berbagai tes benchmark, FreeWilly2 telah menunjukkan kemampuan penalaran yang sangat baik, dan bahkan melampaui GPT-3.5 dalam beberapa tugas.

Alamat model:

Alamat model:

Kedua model adalah eksperimen penelitian dan dirilis di bawah lisensi non-komersial.

Pembuatan dan pengumpulan data

Stabilitas AI mengatakan bahwa pelatihan model FreeWilly secara langsung terinspirasi oleh makalah Microsoft "Orca: Progressive Learning from Complex Explanation Traces of GPT-4".

Namun, meskipun proses pembuatan datanya serupa, sumbernya berbeda.

Tautan kertas:

Varian dataset FreeWilly berisi 600.000 titik data (kira-kira 10% dari ukuran dataset yang digunakan dalam kertas Orca asli), dan model di-bootstrap dengan menggunakan dataset instruksi berkualitas tinggi yang dibuat oleh Enrico Shippole:

• COT Submix Asli

• NIV2 Submix Asli

• FLAN 2021 Submix Asli

• T0 Submix Asli

Dengan pendekatan ini, Stability AI menghasilkan 500.000 contoh menggunakan model LLM yang lebih sederhana, dan 100.000 contoh tambahan menggunakan model LLM yang lebih kompleks.

Untuk perbandingan yang adil, Stability AI dengan hati-hati menyaring kumpulan data ini dan menghapus contoh yang berasal dari tolok ukur evaluasi.

Meskipun ukuran sampel pelatihan hanya sepersepuluh dari kertas Orca asli, model FreeWilly yang dihasilkan tidak hanya bekerja dengan baik dalam berbagai tes benchmark, tetapi juga memverifikasi kelayakan metode pembuatan dataset secara sintetis.

Evaluasi kinerja model

Dalam hal evaluasi kinerja, peneliti Stabilitas AI mengadopsi lm-harness EleutherAI dan menambahkan AGI.

Dilihat dari hasilnya, FreeWilly unggul dalam banyak bidang, termasuk penalaran kompleks, memahami seluk-beluk bahasa, dan menjawab pertanyaan kompleks terkait domain profesional (seperti pemecahan masalah hukum dan matematika).

Pada dasarnya, FreeWilly 2 telah mencapai level yang sebanding dengan ChatGPT, dan bahkan mengunggulinya dalam beberapa evaluasi.

Patokan GPT4ALL (0-tembakan):

Evaluasi AGI (0-tembakan):

Selain itu, tim dari Hugging Face juga mereproduksi percobaan secara mandiri pada 21 Juli.

Terlihat bahwa di papan peringkat Open LLM, FreeWilly 2 menempati urutan pertama dengan keunggulan mutlak, dan skor rata-ratanya 4 poin persentase lebih tinggi dari Llama 2 versi asli.

Untuk masa depan yang terbuka

Dapat dikatakan bahwa FreeWilly1 dan FreeWilly2 menetapkan standar baru untuk model bahasa open source yang besar.

Pengenalan kedua model ini tidak hanya sangat memajukan penelitian di bidang terkait, meningkatkan kemampuan pemahaman bahasa alami, tetapi juga mendukung penyelesaian tugas-tugas kompleks.

Stabilitas AI mengatakan bahwa tim sangat bersemangat dengan kemungkinan tak terbatas yang dapat dibawa model ini ke komunitas AI, dan menantikan aplikasi baru yang akan mereka inspirasi.

Selain itu, terima kasih yang tulus kepada tim peneliti, insinyur, dan mitra yang penuh semangat, yang upaya dan dedikasinya yang luar biasa telah memungkinkan Stability AI mencapai tonggak penting ini.

WAKTU MENYENANGKAN

Setelah model dirilis, netizen "Phil Howes" menggunakan framework Llama v2 Tuhin Srivastava untuk menyelesaikan implementasi FreeWilly 2 dalam waktu kurang dari satu menit.

Setelah pemuatan berat 275GB, model berjalan pada 23 token/s di luar kotak.

Selain itu, beberapa netizen berseru: Model yang diluncurkan bersama oleh Stability AI dan CarperAI dapat disebut sebagai pengubah permainan!

FreeWilly1 dan FreeWilly2 memiliki signifikansi inovatif yang besar dalam hal sumber terbuka dan kinerja, dan lingkaran AI mengantarkan momen yang menyenangkan.

Referensi: