- Pengumpulan data: Pelatihan saya dimulai dengan beragam teks internet. Namun, saya harus mencatat bahwa meskipun saya dilatih tentang kumpulan data yang luas, saya tidak mengetahui secara spesifik tentang dokumen mana yang merupakan bagian dari kumpulan pelatihan tersebut atau memiliki akses ke dokumen atau sumber tertentu.
- Pelatihan Awal (Pra-pelatihan): Di sinilah saya belajar memprediksi kata berikutnya dalam sebuah kalimat. Saya tidak mulai mengetahui bahasa Inggris atau bahasa lainnya. Sebaliknya, dengan memprediksi kata berikutnya dalam jutaan kalimat, saya secara bertahap belajar tentang tata bahasa, fakta tentang dunia, dan beberapa kemampuan penalaran. Namun, ini juga berarti saya mungkin telah belajar dari informasi yang bias atau salah karena datanya tidak disaring secara menyeluruh.
- Mencari setelan: Setelah pelatihan awal, pembuat saya di OpenAI memberikan panduan lebih lanjut dengan kumpulan data yang lebih spesifik, yang dibuat dengan bantuan peninjau manusia. Peninjau ini mengikuti pedoman untuk meninjau dan menilai keluaran model yang mungkin untuk serangkaian masukan contoh. Proses penyempurnaan adalah semacam dialog antara model dan pengulas yang membantu saya menyelaraskan lebih baik dengan nilai-nilai kemanusiaan.
- Pembelajaran Berkelanjutan: Meskipun saya tidak belajar dari interaksi individu karena alasan privasi, OpenAI terus bekerja dengan tim peninjau manusia untuk memberikan umpan balik dan membuat peningkatan berulang berdasarkan pola dan wawasan yang lebih luas.
- Contoh pra-pelatihan: Misalkan kita memiliki kalimat, "Kucing itu duduk di __". Pada fase pra-pelatihan, model seperti saya akan belajar memprediksi kata berikutnya dalam kalimat, yang bisa berupa “tikar”, “atap”, atau “pohon”. Ini dipelajari dengan mengolah miliaran kalimat dari beragam teks internet, secara tidak langsung melibatkan interaksi manusia saat manusia menciptakan konten aslinya.
- Contoh Penyempurnaan: Setelah fase pra-pelatihan, model memasuki fase penyempurnaan. Begini cara kerjanya:
Peninjau manusia diberi tugas untuk meninjau keluaran model yang mungkin untuk masukan seperti "Terjemahkan teks bahasa Inggris berikut ke bahasa Prancis: 'Halo, apa kabar?'". Model tersebut mungkin menghasilkan beberapa respons seperti “Bonjour, comment ça va?” atau "Salut, komentar vas-tu?" dll.
Peninjau menilai tanggapan ini berdasarkan faktor-faktor seperti akurasi, kelancaran, dan kesesuaian. Peringkat ini membantu model untuk menggeneralisasi dan merespons input serupa di masa mendatang.
Ingat, contoh yang diberikan di sini disederhanakan untuk mengilustrasikan prosesnya. Pelatihan sebenarnya melibatkan algoritme yang kompleks dan data dalam jumlah besar.
- Ragam Data: Ini bukan hanya tentang volume data, tetapi juga variasinya. Data harus beragam untuk mencakup berbagai topik, gaya, dan nada yang ditemukan dalam bahasa manusia.
- Kualitas Data: Kualitas data yang digunakan untuk pelatihan juga dapat memengaruhi seberapa efektif model belajar. Kualitas data yang lebih baik berpotensi mengurangi volume yang diperlukan untuk pelatihan yang efektif.
- Arsitektur Model: Arsitektur model (seperti jumlah lapisan atau parameter dalam jaringan saraf) juga dapat mempengaruhi berapa banyak data yang dibutuhkan. Model yang lebih besar, seperti GPT-3 atau GPT-4, biasanya memerlukan lebih banyak data daripada model yang lebih kecil.
- Tujuan Pelatihan: Jenis tugas yang ingin dilakukan oleh model dapat memengaruhi jumlah data yang dibutuhkan. Model yang dirancang untuk tugas tertentu mungkin memerlukan lebih sedikit data jika ditargetkan dengan baik, sedangkan model tujuan umum seperti GPT-3 atau GPT-4, yang dirancang untuk menangani berbagai tugas, akan membutuhkan lebih banyak data untuk pemahaman yang lebih luas.
Dalam kasus GPT-3, misalnya, model memiliki 175 miliar parameter dan dilatih pada ratusan gigabyte teks. Tetapi angka-angka ini tidak sepenuhnya menangkap kerumitan prosesnya. Spesifik dari proses pelatihan, termasuk jumlah pasti data yang digunakan, adalah detail hak milik yang dipegang oleh OpenAI dan organisasi serupa.
- Mulai Kecil: Khususnya untuk masalah sederhana atau prototipe model awal, kumpulan data yang lebih kecil sudah cukup. Misalnya, jika Anda membuat pengklasifikasi gambar dasar, Anda dapat memulai dengan beberapa ratus atau ribuan gambar per kategori.
- Pertimbangkan Kompleksitasnya: Masalah yang lebih kompleks biasanya membutuhkan lebih banyak data. Jika Anda sedang mengembangkan model pembelajaran mendalam atau bekerja dengan masalah kompleks seperti pemrosesan bahasa alami, Anda mungkin memerlukan jutaan titik data.
- Kualitas diatas kuantitas: Kualitas, data yang relevan seringkali bisa lebih bermanfaat daripada sejumlah besar data berkualitas buruk. Memastikan data Anda dibersihkan, dianotasi, dan mewakili masalah yang Anda coba selesaikan dengan benar sangatlah penting.
- Seimbangkan Kelas Anda: Untuk tugas pembelajaran yang diawasi, pastikan untuk memiliki contoh yang seimbang untuk setiap kelas. Kumpulan data yang tidak seimbang dapat menghasilkan model yang berperforma buruk pada kelas yang kurang terwakili.
- Gunakan Validasi dan Test Sets: Bagian dari kumpulan data Anda harus disisihkan untuk validasi (menyesuaikan parameter model) dan pengujian (mengevaluasi kinerja model). Pemisahan umum mungkin 70% dari data untuk pelatihan, 15% untuk validasi, dan 15% untuk pengujian, meskipun proporsi ini dapat bervariasi.
- Eksperimen dan Ulangi: Mulai dengan jumlah data awal, latih model Anda, evaluasi performanya, dan tambahkan lebih banyak data secara iteratif, atur model Anda, atau tingkatkan kualitas data Anda berdasarkan hasil.
Ingat, lebih banyak data biasanya meningkatkan kinerja model pembelajaran mesin, tetapi hanya sampai titik tertentu. Setelah titik tertentu, mengumpulkan lebih banyak data mungkin lebih memakan waktu dan mahal daripada nilainya, dan mungkin lebih bermanfaat untuk berfokus pada peningkatan kualitas data atau menyempurnakan arsitektur model Anda.
- Pra-pelatihan: Pada fase ini, model terpapar sejumlah besar data teks internet. Data ini tidak dianotasi secara eksplisit, tetapi model dilatih untuk memprediksi kata berikutnya dalam sebuah kalimat. Ini memberi model pemahaman umum tentang tata bahasa, fakta tentang dunia, dan beberapa kemampuan penalaran.
- Mencari setelan: Setelah pra-pelatihan, model disempurnakan lebih lanjut pada kumpulan data yang lebih sempit yang dihasilkan dengan bantuan peninjau manusia. Peninjau ini mengikuti panduan dari OpenAI untuk meninjau dan menilai keluaran model yang mungkin untuk berbagai masukan. Dalam pengertian ini, proses penyempurnaan dapat dilihat sebagai bentuk anotasi, di mana peninjau manusia memandu tanggapan model, membantunya agar lebih selaras dengan nilai-nilai kemanusiaan dan memastikan bahwa model menghindari konten yang tidak pantas atau tidak aman.
Jadi, sementara kumpulan data awal yang digunakan untuk pra-pelatihan tidak dianotasi dalam pengertian tradisional, proses penyempurnaan memang melibatkan bentuk anotasi, di mana peninjau manusia memandu perilaku model dengan menilai keluaran yang berbeda.
Ketepatan: Peninjau mengevaluasi apakah keluaran model benar secara faktual.
Contoh:
Kelayakan: Keluaran model dievaluasi kesesuaiannya dengan masukan yang diberikan.
Contoh:
Keselamatan: Keluaran ditinjau untuk memastikan keluaran tidak menyertakan instruksi berbahaya atau bahasa yang menyinggung.
Contoh:
Kelengkapan: Ini menilai apakah respons model sepenuhnya menjawab permintaan pengguna.
Contoh:
Kelancaran: Peninjau memeriksa apakah keluaran model lancar secara linguistik dan koheren.
Contoh:
Kategori ini hanyalah contoh. Proses penyempurnaan yang sebenarnya melibatkan sistem evaluasi yang lebih kompleks dan umpan balik berkelanjutan antara peninjau dan tim pengembangan AI. Tujuan dari anotasi ini adalah untuk membuat respons model lebih bermanfaat, aman, dan selaras dengan nilai-nilai kemanusiaan.
OpenAI, organisasi di belakang ChatGPT, tidak mengungkapkan secara publik jumlah pasti peninjau yang terlibat dalam proses penyempurnaan. Namun, mengingat skala dan kerumitan pelatihan model bahasa yang begitu besar, aman untuk mengatakan bahwa proses tersebut kemungkinan besar melibatkan tim peninjau yang substansial.
Peninjau manusia ini mengikuti pedoman yang diberikan oleh OpenAI untuk meninjau dan menilai keluaran model yang mungkin. Ini adalah proses yang berkelanjutan dan berulang di mana umpan balik peninjau digunakan untuk meningkatkan dan menyempurnakan model dari waktu ke waktu. OpenAI mempertahankan umpan balik yang kuat dengan para peninjau, termasuk pertemuan mingguan untuk menjawab pertanyaan dan memberikan klarifikasi.
- Kompleksitas Tugas: Tugas sederhana seperti memberi label gambar atau mengkategorikan teks akan memakan waktu lebih sedikit per PDF, memungkinkan satu anotator menangani lebih banyak file. Di sisi lain, tugas kompleks seperti ekstraksi entitas terperinci atau analisis semantik akan membutuhkan lebih banyak waktu per dokumen, dan karenanya lebih banyak anotator untuk volume PDF yang sama.
- Panjang dan Kompleksitas PDF: PDF yang lebih panjang atau lebih kompleks akan membutuhkan lebih banyak waktu untuk dianotasi daripada yang lebih pendek atau lebih sederhana.
- Persyaratan kualitas: Jika presisi tinggi diperlukan, mungkin diperlukan beberapa anotator per PDF untuk memverifikasi silang anotasi.
- Kendala waktu: Jika anotasi perlu diselesaikan dengan cepat, diperlukan lebih banyak anotator.
Sebagai contoh hipotetis, katakanlah seorang anotator dapat membuat anotasi 5 PDF per hari untuk tugas tertentu, dan bekerja 5 hari seminggu. Dalam hal ini, untuk membuat anotasi 10,000 PDF, satu anotator membutuhkan 2000 hari, atau sekitar 8 tahun.
Namun, jika Anda memiliki tim yang terdiri dari 20 annotator, mereka dapat menyelesaikan tugas tersebut dalam waktu sekitar 5 bulan (dengan asumsi 20 hari kerja per bulan). Dengan 100 anotator, tugas yang sama dapat diselesaikan dalam waktu sekitar satu bulan.
Ingat, angka-angka ini murni ilustrasi dan kecepatan anotasi yang sebenarnya akan bergantung pada faktor-faktor yang disebutkan di atas. Selain itu, pelatihan annotator yang tepat dan kontrol kualitas yang konsisten sangat penting untuk keberhasilan proyek anotasi berskala besar.
