Pembelajaran penguatan (RL) adalah jenis pembelajaran mesin. Dalam pendekatan ini, algoritme belajar mengambil keputusan melalui trial and error, seperti yang dilakukan manusia.
Saat kami menambahkan masukan manusia ke dalamnya, proses ini berubah secara signifikan. Mesin kemudian belajar dari tindakannya dan bimbingan yang diberikan manusia. Kombinasi ini menciptakan lingkungan belajar yang lebih dinamis.
Pada artikel ini, kita akan membahas langkah-langkah pendekatan inovatif ini. Kita akan mulai dengan dasar-dasar pembelajaran penguatan dengan umpan balik manusia. Kemudian, kita akan membahas langkah-langkah penting dalam menerapkan RL dengan masukan dari manusia.
Apa itu Pembelajaran Penguatan dengan Umpan Balik Manusia (RLHF)?
Pembelajaran Penguatan dari Umpan Balik Manusia, atau RLHF, adalah metode dimana AI belajar dari trial and error dan masukan manusia. Dalam pembelajaran mesin standar, AI meningkat melalui banyak perhitungan. Proses ini cepat namun tidak selalu sempurna, terutama dalam tugas-tugas seperti bahasa.
RLHF turun tangan ketika AI, seperti chatbot, perlu disempurnakan. Dalam metode ini, orang memberikan umpan balik kepada AI dan membantunya memahami serta merespons dengan lebih baik. Metode ini sangat berguna dalam pemrosesan bahasa alami (NLP). Ini digunakan dalam chatbots, sistem suara-ke-teks, dan alat peringkasan.
Biasanya, AI belajar dengan sistem penghargaan berdasarkan tindakannya. Namun dalam tugas yang kompleks, hal ini bisa jadi rumit. Di sinilah umpan balik manusia sangat penting. Ini memandu AI dan membuatnya lebih logis dan efektif. Pendekatan ini membantu mengatasi keterbatasan pembelajaran AI dengan sendirinya.
Tujuan RLHF
Tujuan utama RLHF adalah melatih model bahasa untuk menghasilkan teks yang menarik dan akurat. Pelatihan ini melibatkan beberapa langkah:
Pertama, ini menciptakan model penghargaan. Model ini memprediksi seberapa baik manusia akan menilai teks AI.
Umpan balik manusia membantu membangun model ini. Umpan balik ini membentuk model pembelajaran mesin untuk menebak penilaian manusia.
Kemudian, model bahasa disempurnakan menggunakan model penghargaan. Ini memberi penghargaan kepada AI untuk teks yang mendapat peringkat tinggi.
Metode ini membantu AI mengetahui kapan harus menghindari pertanyaan tertentu. Ia belajar untuk menolak permintaan yang melibatkan konten berbahaya seperti kekerasan atau diskriminasi.
Contoh terkenal dari model yang menggunakan RLHF adalah ChatGPT OpenAI. Model ini menggunakan umpan balik manusia untuk meningkatkan tanggapan dan menjadikannya lebih relevan dan bertanggung jawab.
Langkah-Langkah Pembelajaran Penguatan dengan Umpan Balik Manusia
Pembelajaran Penguatan dengan Umpan Balik Manusia (RLHF) memastikan bahwa model AI mahir secara teknis, masuk akal secara etis, dan relevan secara kontekstual. Lihatlah lima langkah utama RLHF yang mengeksplorasi bagaimana mereka berkontribusi dalam menciptakan sistem AI yang canggih dan dipandu oleh manusia.
Dimulai dengan Model Terlatih
Perjalanan RLHF dimulai dengan model terlatih, sebuah langkah dasar dalam Pembelajaran Mesin Human-in-the-Loop. Awalnya dilatih pada kumpulan data yang luas, model ini memiliki pemahaman yang luas tentang bahasa atau tugas dasar lainnya tetapi kurang terspesialisasi.
Pengembang memulai dengan model terlatih dan mendapatkan keuntungan yang signifikan. Model-model ini telah dipelajari dari sejumlah besar data. Ini membantu mereka menghemat waktu dan sumber daya pada fase pelatihan awal. Langkah ini menyiapkan panggung untuk pelatihan berikutnya yang lebih terfokus dan spesifik.
Penyetelan Halus yang Diawasi
Langkah kedua melibatkan Penyempurnaan yang diawasi, yaitu model yang telah dilatih sebelumnya menjalani pelatihan tambahan pada tugas atau domain tertentu. Langkah ini ditandai dengan penggunaan data berlabel, yang membantu model menghasilkan keluaran yang lebih akurat dan relevan secara kontekstual.
Proses penyesuaian ini adalah contoh utama dari Pelatihan AI yang Dipandu Manusia, dimana penilaian manusia memainkan peran penting dalam mengarahkan AI menuju perilaku dan respons yang diinginkan. Pelatih harus hati-hati memilih dan menyajikan data spesifik domain untuk memastikan bahwa AI beradaptasi dengan nuansa dan persyaratan spesifik dari tugas yang ada.
Pelatihan Model Hadiah
Pada langkah ketiga, Anda melatih model terpisah untuk mengenali dan memberi penghargaan pada keluaran yang diinginkan yang dihasilkan AI. Langkah ini penting dalam Pembelajaran AI berbasis Umpan Balik.
Model penghargaan mengevaluasi keluaran AI. Ini memberikan skor berdasarkan kriteria seperti relevansi, akurasi, dan keselarasan dengan hasil yang diinginkan. Skor ini bertindak sebagai umpan balik dan memandu AI untuk menghasilkan respons berkualitas lebih tinggi. Proses ini memungkinkan pemahaman yang lebih mendalam tentang tugas-tugas kompleks atau subjektif di mana instruksi eksplisit mungkin tidak cukup untuk pelatihan yang efektif.
Pembelajaran Penguatan melalui Optimasi Kebijakan Proksimal (PPO)
Selanjutnya, AI menjalani Reinforcement Learning melalui Proximal Policy Optimization (PPO), sebuah pendekatan algoritmik canggih dalam pembelajaran mesin interaktif.
PPO memungkinkan AI untuk belajar dari interaksi langsung dengan lingkungannya. Ini menyempurnakan proses pengambilan keputusan melalui penghargaan dan penalti. Metode ini sangat efektif dalam pembelajaran dan adaptasi real-time, karena membantu AI memahami konsekuensi tindakannya dalam berbagai skenario.
PPO berperan penting dalam mengajarkan AI untuk menavigasi lingkungan yang kompleks dan dinamis di mana hasil yang diinginkan mungkin berkembang atau sulit untuk ditentukan.
Teaming Merah
Langkah terakhir melibatkan pengujian sistem AI yang ketat di dunia nyata. Di sini, beragam kelompok evaluator, yang dikenal sebagai 'tim Merah,' tantang AI dengan berbagai skenario. Mereka menguji kemampuannya untuk merespons secara akurat dan tepat. Fase ini memastikan bahwa AI dapat menangani aplikasi dunia nyata dan situasi yang tidak terduga.
Red Teaming menguji kemahiran teknis AI serta kelayakan etika dan kontekstual. Mereka memastikan bahwa perusahaan tersebut beroperasi dalam batas-batas moral dan budaya yang dapat diterima.
Sepanjang langkah-langkah ini, RLHF menekankan pentingnya keterlibatan manusia di setiap tahap pengembangan AI. Mulai dari memandu pelatihan awal dengan data yang dikurasi secara cermat hingga memberikan masukan yang beragam dan pengujian nyata yang ketat, masukan dari manusia merupakan bagian integral dalam menciptakan sistem AI yang cerdas, bertanggung jawab, dan selaras dengan nilai-nilai dan etika kemanusiaan.
Kesimpulan
Pembelajaran Penguatan dengan Umpan Balik Manusia (RLHF) menunjukkan era baru dalam AI karena memadukan wawasan manusia dengan pembelajaran mesin untuk menghasilkan sistem AI yang lebih etis dan akurat.
RLHF berjanji untuk menjadikan AI lebih berempati, inklusif, dan inovatif. Hal ini dapat mengatasi bias dan meningkatkan pemecahan masalah. Ini dirancang untuk mentransformasi bidang-bidang seperti layanan kesehatan, pendidikan, dan layanan pelanggan.
Namun, menyempurnakan pendekatan ini memerlukan upaya berkelanjutan untuk memastikan efektivitas, keadilan, dan keselarasan etika.
