Mengukur Nada Percakapan Publik Tanpa Membaca Semua Unggahan

Ketika ribuan tulisan masuk setiap hari, pertanyaan pentingnya bukan hanya apakah komputer bisa menebak isi satu tulisan. Kita juga perlu tahu apakah gambaran percakapan secara keseluruhan sudah terbaca dengan benar.

Sebuah kebijakan baru diumumkan. Dalam beberapa jam, kolom komentar dipenuhi pujian, keluhan, gurauan, dan cerita pengalaman pribadi. Ada yang menulis panjang. Ada yang mengirim satu kalimat. Ada pula yang berkali-kali mengulang pendapat yang sama.

Membaca beberapa unggahan mungkin memberi kesan bahwa suasananya sedang buruk. Namun, kesan itu mudah dipengaruhi tulisan yang paling keras atau paling sering muncul di layar. Untuk mengetahui gambaran yang lebih luas, kita perlu menghitung komposisi percakapan dari kumpulan teks yang batasnya jelas.

Masalahnya, jumlah tulisan dapat jauh melampaui waktu yang tersedia untuk membacanya. Daniel J. Hopkins dan Gary King menawarkan jawaban dalam artikel yang terbit di American Journal of Political Science pada 2010. Mereka mengembangkan metode untuk memperkirakan proporsi kategori teks dengan bantuan sebagian dokumen yang dibaca manusia.

Ada perbedaan penting antara menebak label tiap unggahan dan memperkirakan bagian percakapan yang berisi dukungan atau penolakan. Program yang cukup baik pada pekerjaan pertama belum tentu menghasilkan gambaran yang benar pada pekerjaan kedua. Memahami perbedaan ini membantu kita membaca grafik sentimen dengan lebih hati-hati.

Delapan puluh jawaban benar bisa memberi gambaran yang keliru

Bayangkan ada 100 tulisan. Setelah dibaca dengan teliti, 40 termasuk negatif dan 60 positif. Sebuah program berhasil memberi label yang benar pada 80 tulisan. Sekilas, ketepatan 80 persen terdengar cukup meyakinkan.

Tetapi arah kesalahan menentukan hasil hitungnya. Jika 20 tulisan negatif keliru disebut positif, program akan melaporkan hanya 20 persen tulisan negatif. Jika kesalahan berjalan ke arah sebaliknya, angka negatif menjadi 60 persen. Ketepatan program tetap 80 persen, sementara gambaran percakapannya berubah jauh.

Ini contoh sederhana, bukan hasil survei atau angka pengujian dalam penelitian. Ia menunjukkan mengapa ukuran keberhasilan harus mengikuti pertanyaan kita. Untuk mengetahui komposisi percakapan, menghitung jumlah label yang benar saja belum cukup.

Pekerjaan manusia dimulai sebelum komputer menghitung

Metode Hopkins dan King tetap membutuhkan pembaca manusia. Peneliti lebih dulu menentukan kategori, membaca sebagian teks, lalu memberi label sesuai aturan yang disepakati. Kumpulan contoh berlabel ini menjadi bekal untuk mempelajari bagaimana tiap kategori muncul dalam bahasa.

Kategori perlu menjawab pertanyaan penelitian. Jika kita meneliti penilaian terhadap program layanan, tulisan yang hanya mengumumkan jadwal jangan otomatis dimasukkan sebagai dukungan. Kata yang terdengar positif juga belum tentu berarti penulis sedang memuji. Konteks dapat mengubah makna.

Cobalah latihan singkat di bawah. Semua kalimatnya dibuat untuk menjelaskan cara memberi label, bukan diambil dari akun warga. Perhatikan perbedaan antara penilaian netral, informasi tanpa pendapat, dan tulisan di luar topik.

Dalam contoh blog pada artikel aslinya, penulis menggunakan tujuh kategori. Lima menunjukkan rentang dari sangat negatif sampai sangat positif. Dua lainnya menampung tulisan tanpa pendapat dan materi yang ternyata bukan blog. Pemisahan ini membantu agar semua dokumen memiliki tempat tanpa memaksa semuanya menjadi positif atau negatif.

Aturannya juga harus cukup jelas untuk dipakai oleh orang yang berbeda. Bila dua pembaca sering berselisih label pada kalimat yang sama, persoalannya mungkin ada pada definisi kategori atau informasi dalam teks. Menambah kemampuan komputer tidak serta-merta memperbaiki masalah itu.

Mencari campuran pola bahasa dalam banyak tulisan

Setelah sebagian tulisan diberi label, komputer mengubah teks menjadi data. Dalam contoh penelitian, salah satu bentuknya adalah penanda apakah kata tertentu muncul atau tidak. Banyak pola kata kemudian dibandingkan antara dokumen yang sudah dibaca manusia dan kumpulan teks yang ingin dipelajari.

Cara berpikirnya seperti mengenali komposisi sebuah campuran. Dari contoh yang sudah diberi label, komputer mempelajari pola bahasa pada tiap kategori. Pola itu lalu dipakai untuk memperkirakan campuran kategori dalam seluruh kumpulan teks. Sasarannya adalah proporsi kategori, bukan satu label pasti untuk setiap dokumen. Dalam artikel penelitian, cara ini disebut pendekatan nonparametrik.

Simulator di bawah menyederhanakan gagasan tersebut menjadi tiga kategori dan tiga pola. Angkanya sengaja dibuat kecil dan transparan agar hubungan antarbagian mudah diikuti. Anda bisa mengubah komposisi tulisan, lalu melihat bagaimana pola gabungannya berubah.

Ada syarat yang tidak boleh hilang. Pola bahasa dalam sebuah kategori perlu cukup sesuai antara contoh berlabel dan teks yang dianalisis. Jumlah tulisan negatif boleh berubah, tetapi bila cara menyampaikan keluhan berubah jauh, contoh lama dapat menjadi bekal yang kurang tepat. Tombol perubahan bahasa pada simulator memperlihatkan masalah itu.

Ukuran yang berbeda memilih pemenang yang berbeda

Penulis menguji metode pada beberapa jenis teks. Salah satu pengujiannya memakai 4.303 tulisan blog tentang George W. Bush. Data mula-mula dibagi menjadi bagian pelatihan dan pengujian. Agar tantangannya lebih berat, sebagian tulisan sangat negatif kemudian dikeluarkan dari bagian pengujian sehingga komposisinya berubah. Sebagai pembanding, mereka menguji empat varian SVM, algoritma komputer yang dilatih untuk memberi label pada dokumen.

Tabel 1 menunjukkan galat rata-rata proporsi sebesar 1,2 poin persentase untuk pendekatan nonparametrik mereka. Empat model pembanding menghasilkan galat 7,7, 7,7, 5,3, dan 23,2 poin persentase. Galat ini merangkum jarak antara proporsi yang diperkirakan dan proporsi yang diketahui dalam data uji.

Di antara model pembanding, model linear paling baik dalam ketepatan label pada data baru, sedangkan model polynomial lebih baik dalam menghitung proporsi. Angka kecocokan pada data pelatihan pun bisa sangat berbeda dari kinerja pada data baru. Hasil ini menguatkan pesan penelitian bahwa ukuran yang dipilih ikut menentukan apa yang kita sebut berhasil.

Tidak perlu membaca semuanya, tetapi contoh yang dibaca tetap menentukan

Salah satu ilustrasi dalam artikel mengikuti percakapan blog tentang John Kerry di sekitar kontroversi ucapannya pada 2006. Analisis mencakup 10.000 tulisan, sementara 442 tulisan dari lima hari pada awal November dibaca dan diberi label manusia. Grafiknya memperlihatkan kenaikan bagian tulisan sangat negatif setelah peristiwa tersebut.

Itu berarti sekitar 4,42 persen tulisan dalam contoh tersebut dibaca manusia. Namun, angka ini bukan aturan bahwa membaca 4,42 persen selalu cukup. Kebutuhan contoh bergantung pada kategori, keragaman bahasa, dan ketelitian hasil yang diinginkan. Kategori yang jarang muncul juga memerlukan contoh yang memadai.

Penulis membahas cara memulai dengan sekitar 200 dokumen berlabel, menjalankan analisis, lalu menambah contoh bila ketidakpastiannya masih terlalu besar. Dalam pengujian mereka, tambahan bacaan mulai memberi manfaat yang lebih kecil di sekitar 500 dokumen. Temuan pada data itu tidak menetapkan satu jumlah yang cocok untuk semua penelitian.

Selain menambah jumlah, peneliti perlu memeriksa mutu contoh dan kesesuaian bahasanya. Bahasa sindiran, istilah daerah, singkatan, atau perubahan cara orang membicarakan suatu isu dapat menuntut pemeriksaan baru. Untuk teks Indonesia, aturan kategorinya perlu diuji pada bahasa yang sungguh dipakai dalam kumpulan tersebut.

Enam puluh persen unggahan bukan enam puluh persen warga

Sekalipun komposisi teks berhasil diukur dengan tepat, masih ada pertanyaan tentang siapa yang menghasilkan teks tersebut. Satu akun dapat menulis berkali-kali, sementara banyak orang tidak menulis sama sekali. Dalam hitungan dokumen, setiap tulisan menambah satu pengamatan.

Contoh di bawah memakai 100 akun rekaan. Sepuluh akun menulis keluhan dan 90 lainnya menulis dukungan. Geser frekuensi unggahan kelompok pertama. Jumlah akun tidak berubah, tetapi bagian tulisan yang berisi keluhan bisa menjadi dominan.

Karena itu, hasil perlu disebut sesuai pembandingnya. Proporsi unggahan, proporsi akun, dan proporsi seluruh warga menjawab pertanyaan yang berbeda. Kata kunci pencarian, platform, rentang waktu, serta keputusan memasukkan unggahan ulang juga ikut menentukan kumpulan teks yang akhirnya dihitung.

Membaca grafik sentimen dengan pertanyaan yang lebih tepat

Bagi pembaca pemula, langkah pertama adalah mencari tahu apa yang dihitung. Apakah angkanya menunjukkan bagian tulisan, akun, atau orang dalam survei? Setelah itu, periksa topik, sumber teks, dan periode yang dicakup. Judul yang menyebut percakapan publik dapat memiliki cakupan data yang jauh lebih sempit.

Perhatikan pula arti kategorinya. Negatif terhadap kualitas layanan tidak selalu berarti menolak tujuan kebijakannya. Tidak menyampaikan pendapat berbeda dari penilaian netral. Aturan pemberian label perlu cukup terbuka agar pembaca memahami apa yang masuk ke dalam setiap angka.

Kemudian lihat bagaimana hasil diuji. Program yang tampak berhasil pada contoh yang sudah dikenalnya perlu diperiksa pada teks lain. Jika tujuan analisis adalah proporsi, bukti tentang ketepatan proporsi akan lebih langsung menjawab kebutuhan itu daripada satu angka akurasi label.

Dalam pemantauan layanan atau komunikasi kebijakan, hasil seperti ini dapat membantu menemukan kapan keluhan meningkat dan bagian percakapan mana yang perlu dibaca lebih dekat. Mengetahui komposisi memberi arah untuk pemeriksaan berikutnya. Isi keluhan, alasan dukungan, dan pengalaman yang melatarinya tetap memerlukan pembacaan.

Nilai penelitian Hopkins dan King terletak pada perhatian terhadap pertanyaan yang sebenarnya ingin dijawab. Kita dapat menghemat bacaan manusia tanpa melepaskan tanggung jawab atas kategori, contoh, dan cakupan data. Dari sana, grafik percakapan menjadi lebih berguna karena kita tahu apa yang sedang digambarkannya.

Sumber
Hopkins, Daniel J., dan Gary King. 2010. American Journal of Political Science 54(1), 229–247.
https://doi.org/10.1111/j.1540-5907.2009.00428.x