Pengumpulan Data Untuk AI Percakapan

Cara Mendekati Pengumpulan Data untuk AI Percakapan

Saat ini, kami memiliki beberapa robot yang dapat berbicara seperti chatbots, asisten virtual, dan banyak lagi di rumah kami, sistem mobil, perangkat portabel, solusi otomatisasi rumah, dll. Perangkat ini dengan tepat mendengarkan apa yang kami katakan dan bagaimana kami mengatakan dan mengambil hasil atau menjalankan tugas tertentu .

Dan jika Anda telah menggunakan asisten seperti Siri atau Alexa, Anda juga akan menyadari bahwa mereka menjadi lebih aneh dari hari ke hari. Respons mereka cerdas, mereka membalas, menghina, membalas pujian, dan berperilaku lebih manusiawi daripada beberapa rekan kerja yang mungkin Anda kenal. Kami tidak bercanda. Menurut PwC, 27% pengguna yang berinteraksi dengan rekan layanan pelanggan baru-baru ini tidak tahu apakah mereka sedang berbicara dengan manusia atau chatbot.

Mengembangkan sistem dan perangkat percakapan yang rumit seperti itu sangat kompleks dan menakutkan. Ini adalah permainan bola yang berbeda sama sekali dengan pendekatan pengembangan yang berbeda. Itu sebabnya kami pikir kami harus memecahnya untuk Anda agar lebih mudah dipahami. Jadi, jika Anda ingin mengembangkan mesin AI percakapan atau asisten virtual, panduan ini akan membantu Anda mendapatkan kejelasan.

Signifikansi AI Percakapan

Ketika teknologi menjadi aspek yang lebih integral dari kehidupan kita dalam bentuk perangkat dan sistem yang lebih baru, muncul kebutuhan untuk mendorong hambatan, mendobrak konvensi, dan menemukan cara baru untuk berinteraksi dengannya. Dari sekadar menggunakan periferal yang terhubung seperti mouse dan keyboard, kami beralih ke alas mouse yang menawarkan kenyamanan lebih. Kami kemudian bermigrasi ke layar sentuh yang menawarkan kemudahan lebih lanjut dalam memasukkan input dan menjalankan tugas.

Dengan perangkat menjadi perpanjangan dari diri kita sendiri, kita sekarang membuka media baru untuk memerintah melalui suara. Kita bahkan tidak perlu berada di dekat perangkat untuk mengoperasikannya. Yang harus kita lakukan adalah menggunakan suara kita untuk membukanya dan memerintahkan input kita. Dari ruangan terdekat, saat mengemudi, saat menggunakan perangkat lain secara bersamaan, AI percakapan melakukan tugas yang kami maksudkan dengan mulus. Jadi dari mana kita memulai – semuanya dimulai dengan data ucapan berkualitas tinggi untuk melatih model ML.

Dasar-dasar Pengumpulan Data Pelatihan Pidato

Mengumpulkan dan membuat anotasi data pelatihan AI untuk AI percakapan sangat berbeda. Ada banyak kerumitan yang terlibat dalam perintah manusia dan beragam tindakan harus diterapkan untuk memastikan setiap aspek diakomodasi untuk hasil yang berdampak. Mari kita lihat beberapa dasar data ucapan.

Pemahaman Bahasa Alami (NLU)

Agar chatbot dan asisten virtual memahami dan merespons apa yang kita pesan atau perintahkan, sebuah proses yang disebut NLU diimplementasikan. Itu singkatan dari Pemahaman Bahasa Alamiah dan melibatkan tiga konsep teknologi untuk menafsirkan dan memproses beragam jenis input.

  • Maksud

    Semua berawal dari niat. Apa yang coba disampaikan, dikomunikasikan, atau dicapai oleh pengguna tertentu melalui sebuah perintah? Apakah pengguna mencari informasi? Apakah mereka menunggu pembaruan untuk suatu tindakan? Apakah mereka memerintahkan instruksi untuk dijalankan oleh sistem? Bagaimana mereka memerintahkannya? Apakah melalui pertanyaan atau permintaan? Semua aspek ini membantu mesin memahami dan mengklasifikasikan maksud dan tujuan masing-masing untuk menghasilkan respons kedap udara.

  • Koleksi Ucapan

    Ada perbedaan antara perintah, “Di mana ATM terdekat?” dan perintah, "Cari saya ATM terdekat." Sekarang manusia akan mengakui bahwa keduanya memiliki arti yang sama tetapi mesin harus dijelaskan dengan perbedaan ini. Mereka sama dalam hal niat tetapi bagaimana niat telah dibentuk sama sekali berbeda.

    Pengumpulan ucapan adalah tentang mendefinisikan dan memetakan ucapan dan frasa yang berbeda menuju tujuan tertentu untuk pelaksanaan tugas dan tanggapan yang tepat. Secara teknis, spesialis anotasi data bekerja pada data ucapan atau data teks untuk membantu mesin membedakan ini.

  • Ekstraksi Entitas

    Setiap kalimat memiliki kata atau frasa tertentu yang memiliki bobot yang ditekankan dan penekanan inilah yang mengarah pada interpretasi konteks dan tujuan. Mesin, seperti sistem kakunya, perlu diberi makan entitas semacam itu. Misalnya, “Di mana saya dapat menemukan senar dari gitar saya di dekat 6th Avenue?”

    Jika Anda memperbaiki kalimat, find adalah entitas satu, string adalah dua, gitar adalah tiga dan jalan ke-6 adalah 4. Entitas ini disatukan oleh mesin untuk mengambil hasil yang sesuai dan agar hal ini terjadi, para ahli bekerja di bagian belakang.

Kumpulan Data Suara / Ucapan / Audio siap pakai untuk Melatih Model AI Percakapan Anda Lebih Cepat

Merancang Dialog Untuk AI Percakapan

Tujuan AI sebagian besar telah mereplikasi perilaku manusia melalui gerakan, tindakan, dan tanggapan. Pikiran manusia yang sadar memiliki kemampuan bawaan untuk memahami konteks, maksud, nada, emosi, dan faktor-faktor lain dan meresponsnya dengan tepat. Tetapi bagaimana mesin dapat membedakan aspek-aspek ini? 

Merancang dialog untuk AI percakapan sangat kompleks dan yang lebih penting, sangat tidak mungkin untuk meluncurkan model universal. Setiap individu memiliki cara berpikir, berbicara, dan menanggapi yang berbeda. Bahkan dalam tanggapan, kita semua mengartikulasikan pikiran kita secara unik. Jadi, mesin harus mendengarkan dan merespons dengan tepat. 

Namun, ini juga tidak mulus. Ketika manusia berbicara, faktor-faktor seperti aksen, pengucapan, etnis, bahasa, dan banyak lagi masuk dan tidak mudah bagi mesin untuk salah paham dan salah mengartikan kata-kata dan merespons kembali. Sebuah kata tertentu dapat dipahami oleh mesin dalam berbagai cara ketika didikte oleh orang India, Inggris, Amerika, dan Meksiko. Ada banyak hambatan bahasa yang ikut berperan dan cara paling praktis untuk menghasilkan sistem respons adalah melalui pemrograman visual yang berbasis diagram alur. 

Melalui blok khusus untuk gerakan, respons, dan pemicu, penulis dan pakar dapat membantu mesin mengembangkan karakter. Ini lebih seperti mesin algoritme yang dapat digunakan untuk menghasilkan respons yang tepat. Ketika input diumpankan, informasi mengalir melalui faktor-faktor yang sesuai, yang mengarah ke respons yang tepat untuk dikirimkan oleh mesin. 

Tekan D Untuk Keanekaragaman

Seperti yang kami sebutkan, interaksi manusia sangat unik. Orang-orang di seluruh dunia berasal dari berbagai lapisan masyarakat, latar belakang, kebangsaan, demografi, etnis, aksen, diksi, pengucapan, dan banyak lagi. 

Agar bot percakapan atau sistem dapat dioperasikan secara universal, bot harus dilatih dengan data pelatihan yang beragam mungkin. Jika, misalnya, seorang model telah dilatih hanya dengan data ucapan dari satu bahasa atau etnis tertentu, aksen baru akan membingungkan sistem dan memaksanya untuk memberikan hasil yang salah. Ini tidak hanya memalukan bagi pemilik bisnis tetapi juga menghina pengguna. 

Itulah mengapa fase pengembangan harus melibatkan data pelatihan AI dari kumpulan dataset beragam yang kaya yang terdiri dari orang-orang dari semua latar belakang yang memungkinkan. Semakin banyak aksen dan etnis yang dipahami sistem Anda, semakin universal hal itu. Selain itu, apa yang akan lebih mengganggu pengguna bukanlah pengambilan informasi yang salah, tetapi kegagalan untuk memahami masukan mereka sejak awal. 

Menghilangkan bias harus menjadi prioritas utama dan salah satu cara perusahaan dapat melakukannya adalah dengan memilih data crowdsourced. Saat Anda melakukan crowdsource data ucapan atau data teks, Anda mengizinkan orang-orang dari seluruh dunia untuk berkontribusi pada kebutuhan Anda, membuat kumpulan data Anda hanya berguna (Baca kami blog untuk memahami manfaat dan jebakan data outsourcing untuk pekerja crowdsource). Sekarang, model Anda akan memahami aksen dan pengucapan yang berbeda dan meresponsnya dengan tepat. 

Jalan ke Depan

Mengembangkan AI percakapan sama sulitnya dengan membesarkan bayi. Satu-satunya perbedaan adalah bahwa bayi pada akhirnya akan tumbuh untuk memahami berbagai hal dan menjadi lebih baik dalam berkomunikasi secara mandiri. Ini adalah mesin yang perlu didorong secara konsisten. Ada beberapa tantangan di ruang ini saat ini dan kita harus mengakui fakta bahwa kita memiliki beberapa sistem AI percakapan paling revolusioner yang muncul terlepas dari tantangan ini. Mari kita tunggu dan lihat apa yang akan terjadi di masa depan untuk chatbot dan asisten virtual ramah lingkungan kita. Sementara itu, jika Anda ingin mengembangkan AI percakapan seperti Google Home untuk bisnis Anda, hubungi kami untuk kebutuhan data pelatihan dan anotasi AI Anda.

sosial Share