Keberhasilan setiap model AI bergantung pada kualitas data yang dimasukkan ke dalam sistem. Sistem ML berjalan pada data dalam jumlah besar, tetapi tidak dapat diharapkan untuk bekerja hanya dengan data apa pun. Itu perlu data pelatihan AI berkualitas tinggi. Jika output dari model AI harus otentik dan akurat, tentu saja, data untuk pelatihan sistem harus berstandar tinggi.
Data yang dilatih oleh model AI dan ML harus berkualitas prima agar bisnis dapat memperoleh wawasan yang bermakna dan relevan darinya. Namun, pengadaan data heterogen dalam jumlah besar merupakan tantangan bagi perusahaan.
Perusahaan harus mengandalkan penyedia seperti Shaip, yang menerapkan langkah-langkah manajemen kualitas data yang ketat dalam proses mereka untuk mengatasi tantangan ini. Selain itu, di Shaip, kami juga melakukan transformasi berkelanjutan dari sistem kami untuk memenuhi tantangan yang berkembang.
Pengantar Manajemen Kualitas Data Shaip
Di Shaip, kami memahami pentingnya data pelatihan yang andal dan perannya dalam mengembangkan model ML dan hasil dari solusi berbasis AI. Selain menyaring pekerja kami untuk keterampilan, kami sama-sama fokus pada pengembangan basis pengetahuan dan pengembangan pribadi mereka.
Kami mengikuti panduan ketat dan prosedur operasi standar yang diterapkan di semua tingkat proses sehingga data pelatihan kami memenuhi tolok ukur kualitas.
Manajemen Mutu
Alur kerja manajemen kualitas kami berperan penting dalam menghadirkan pembelajaran mesin dan model AI. Dengan feedback-in-loop, model manajemen kualitas kami adalah metode yang teruji secara ilmiah yang telah berperan dalam keberhasilan memberikan beberapa proyek untuk klien kami. Alur proses audit kualitas kami berjalan dengan cara berikut.
- Meninjau kontrak
- Buat daftar periksa audit
- sumber dokumen
- Sumber Audit 2-Lapisan
- Moderasi Teks Anotasi
- Audit 2-Lapisan Anotasi
- Pengiriman Pekerjaan
- Umpan Balik Klien
Seleksi dan Orientasi Pekerja Crowdsource
Seleksi pekerja kami yang ketat dan proses orientasi membuat kami berbeda dari kompetisi lainnya. Kami melakukan proses seleksi yang tepat untuk hanya membawa annotator yang paling terampil berdasarkan daftar periksa kualitas. Kami mempertimbangkan:
- Pengalaman sebelumnya sebagai moderator Teks untuk memastikan keterampilan dan pengalaman mereka sesuai dengan persyaratan kami.
- Kinerja pada proyek-proyek sebelumnya untuk memastikan produktivitas, kualitas, dan keluarannya setara dengan kebutuhan proyek.
- Pengetahuan domain yang luas adalah syarat untuk memilih pekerja tertentu untuk vertikal tertentu.
Proses seleksi kami tidak berakhir di sini. Kami menjadikan pekerja tersebut sebagai sampel uji anotasi untuk memverifikasi kualifikasi dan kinerja mereka. Berdasarkan kinerja dalam uji coba, analisis ketidaksepakatan, dan tanya jawab, mereka akan dipilih.
Setelah pekerja dipilih, mereka akan menjalani sesi pelatihan menyeluruh menggunakan Project SOW, pedoman, metode Sampling, tutorial, dan banyak lagi tergantung pada kebutuhan proyek.
Daftar Periksa Pengumpulan Data
Pemeriksaan kualitas berlapis ganda dilakukan untuk memastikan hanya data pelatihan berkualitas tinggi diteruskan ke tim berikutnya.
Level 1: Pemeriksaan Jaminan Kualitas
Tim QA Shaip melakukan pemeriksaan kualitas Level 1 untuk pengumpulan data. Mereka memeriksa semua dokumen, dan mereka dengan cepat divalidasi terhadap parameter yang diperlukan.
Level 2: Pemeriksaan Analisis Kualitas Kritis
Tim CQA yang terdiri dari sumber daya yang kredensial, berpengalaman, dan berkualitas akan mengevaluasi 20% sisa sampel retrospektif.
Beberapa item daftar periksa kualitas sumber data meliputi,
- Apakah sumber URL asli, dan apakah itu memungkinkan pengikisan web data?
- Apakah ada keragaman dalam URL yang dipilih sehingga bias dapat dihindari?
- Apakah konten divalidasi untuk relevansi?
- Apakah konten termasuk kategori moderasi?
- Apakah domain prioritas tercakup?
- Apakah jenis dokumen bersumber dengan mengingat distribusi jenis dokumen?
- Apakah setiap kelas moderasi berisi pelat volume minimum?
- Apakah proses Feedback-in-loop diikuti?
Daftar Periksa Anotasi Data
Mirip dengan Pengumpulan Data, kami juga memiliki dua lapisan daftar periksa kualitas untuk anotasi data.
Level 1: Pemeriksaan Jaminan Kualitas
Proses ini memastikan bahwa 100% dokumen divalidasi dengan benar terhadap parameter kualitas yang ditetapkan oleh tim dan klien.
Level 2: Pemeriksaan Analisis Kualitas Kritis
Proses ini memastikan bahwa 15 hingga 20% sampel retrospektif juga divalidasi, dan kualitasnya terjamin. Langkah ini dilakukan oleh tim CQA yang berkualitas dan berpengalaman dengan pengalaman minimal 10 tahun di bidang manajemen mutu dan pemegang Black Belt.
Tim CQA memastikan,- Konsistensi dalam moderasi teks oleh pengguna
- Memeriksa apakah frasa dan kelas moderasi yang benar digunakan untuk setiap dokumen
- Memeriksa metadata
Kami juga memberikan umpan balik harian berdasarkan Analisis Pareto untuk memastikan kinerja mereka setara dengan kebutuhan klien.
Kami memasukkan lapisan analisis kinerja lainnya untuk fokus pada annotator dengan kinerja paling rendah menggunakan Manajemen Kuartil Bawah. Sebelum pengiriman akhir, kami juga memastikan pemeriksaan kebersihan sampel selesai.
Ambang Parameter
Bergantung pada pedoman proyek dan persyaratan klien, kami memiliki ambang batas parameter 90 hingga 95%. Tim kami dilengkapi dan berpengalaman untuk melakukan salah satu metode berikut untuk memastikan standar manajemen kualitas yang lebih tinggi.
- Skor F1 atau Ukuran F – untuk menilai kinerja dua pengklasifikasi – 2* ((Precision * Recall)/ (Precision + Recall))
- Metode DPO atau Cacat per Peluang dihitung sebagai rasio cacat dibagi dengan peluang.
Contoh Daftar Periksa Audit
Daftar periksa sampel audit Shaip adalah prosedur penyesuaian lengkap yang dapat disesuaikan untuk memenuhi tuntutan proyek dan klien. Itu dapat dimodifikasi berdasarkan umpan balik yang diterima dari klien dan diselesaikan setelah diskusi menyeluruh.
- Pemeriksaan Bahasa
- Pemeriksaan URL dan Domain
- Pemeriksaan Keanekaragaman
- Volume per kelas Bahasa dan moderasi
- Kata kunci yang ditargetkan
- Jenis dan relevansi dokumen
- Pemeriksaan frasa beracun
- Pemeriksaan metadata
- Pemeriksaan konsistensi
- Pemeriksaan kelas anotasi
- Pemeriksaan wajib lainnya sesuai preferensi klien
Tim CQA memastikan,Kami mengambil langkah-langkah ketat untuk mempertahankan standar kualitas data karena kami memahami bahwa semua model berbasis AI digerakkan oleh data. Dan, memiliki data pelatihan berkualitas tinggi adalah persyaratan untuk semua model AI dan pembelajaran mesin. Kami memahami pentingnya data pelatihan berkualitas dan pentingnya data tersebut terhadap kinerja dan keberhasilan model AI Anda.