5 menit baca
Oleh Mike
Cara Kerja Moderasi AI di Discord (dan Apa yang Dilakukan Noxyr)
Moderasi AI di Discord bekerja dengan memberi skor pada setiap pesan memakai model yang sudah dilatih, lalu bertindak saat skornya melewati ambang batas. AutoMod bawaan Discord adalah campuran aturan kata kunci dan filter spam. Noxyr tidak memakai AI untuk menilai pesan: moderasinya berbasis aturan.
Tiga cara moderasi bekerja
| Jenis | Cara memutuskan | Kekuatan | Kelemahan |
|---|---|---|---|
| Berbasis aturan | Hitungan dan pola: pesan per detik, tautan, mention | Dapat diprediksi, mudah dijelaskan | Terlewat kata-kata baru |
| Daftar kata kunci | Mencocokkan kata atau frasa yang Anda atau platform daftarkan | Cepat, murah | Dihindari dengan trik ejaan; salah deteksi |
| Pengklasifikasi AI | Model menilai makna, nada, atau kemiripan dengan konten buruk yang sudah dikenal | Menangkap parafrase | Keputusan yang keliru, sulit dijelaskan, perlu tinjauan |
Apa yang dilakukan alat moderasi AI langkah demi langkah
- Menerima pesan. Bot atau platform membaca teks baru begitu diposting.
- Memberi skor. Model mengembalikan probabilitas untuk kategori seperti spam, penipuan, atau pelecehan.
- Membandingkan dengan ambang batas. Anda (atau vendor) memutuskan seberapa yakin model harus agar bertindak.
- Bertindak. Hapus, beri peringatan, beri timeout, atau tandai untuk ditinjau manusia.
- Meninjau. Orang memeriksa tanda dan memperbaiki kesalahan.
Bagian yang sulit adalah langkah 3. Jika ambangnya rendah, anggota biasa akan terkena. Jika ambangnya tinggi, spam akan lolos. Konteks memperburuk keadaan: candaan antar teman dan ancaman bisa terlihat mirip bagi model.
AutoMod bawaan Discord
Discord menyediakan alat moderasi di setiap server, yang bisa ditemukan di Pengaturan Server lalu AutoMod. Menurut artikel dukungan Discord, alat ini menawarkan filter kata kunci, batas spam mention, dan filter konten spam. Sebuah aturan bisa memblokir pesan, mengirim peringatan ke channel untuk staf, atau memberi timeout pada anggota, meskipun opsinya berbeda untuk setiap filter. Aturan diedit di desktop.
Ini lapisan pertama yang baik karena berjalan di dalam Discord tanpa perlu menambahkan bot. Batasannya: filter kata kunci hanya mengenal kata yang Anda berikan, dan Discord mencatat bahwa filter konten spam tidak menangkap setiap jenis spam, misalnya teks yang sama diulang di berbagai pesan dan channel.
Apa yang dilakukan Noxyr: aturan, bukan AI
Noxyr tidak punya fitur moderasi AI. Noxyr tidak membaca pesan anggota dengan model untuk menilai mereka. Moderasinya berbasis aturan:
- Anti-spam membatasi banjir pesan, mention, dan tautan.
- Anti-link memblokir tautan undangan dan domain yang tidak diinginkan.
- Anti-nuke menghentikan ban massal dan penghapusan channel oleh akun yang disusupi.
- Peringatan memberi staf jalur eskalasi yang jelas.
Alasannya sederhana. Aturan melakukan apa yang Anda katakan dan bisa dijelaskan kepada anggota yang bertanya mengapa mereka dihukum. Untuk banyak server, itu lebih penting daripada menangkap setiap parafrase.
Noxyr memang memakai AI di tempat lain: balasan chat AI, bantuan tiket, dan builder. Fitur-fitur itu menjawab pertanyaan dan mengatur sesuatu. Mereka tidak memutuskan siapa yang dimoderasi. Ada juga /ai check, heuristik pola kata yang memberi staf petunjuk apakah sebuah teks ditulis AI; ini petunjuk, bukan bukti, dan bukan moderasi. Lihat pemeriksaan pesan AI.
Susunan praktis
- Aktifkan AutoMod Discord untuk kata terlarang dan batas mention Anda.
- Tambahkan anti-spam dan anti-link Noxyr untuk banjir dan tautan yang tidak diinginkan.
- Tambahkan anti-nuke agar akun staf yang dibajak tidak bisa menghancurkan server.
- Gunakan peringatan agar manusia menangani kasus yang berulang.
- Libatkan manusia untuk semua hal yang berada di batas.
Pertanyaan yang perlu diajukan sebelum mempercayai moderator AI mana pun
- Ke mana teks pesan pergi? Model biasanya berjalan di server pihak lain. Periksa ketentuan privasinya.
- Bisakah Anda melihat mengapa ia bertindak? Jika seorang anggota mengajukan banding, Anda perlu alasan yang bisa Anda baca.
- Apa tindakan default-nya? Menandai untuk ditinjau lebih aman daripada menghapus atau memblokir secara otomatis.
- Bagaimana ia menangani bahasa lain dan slang? Banyak alat paling kuat dalam bahasa Inggris. Discord mencatat bahwa beberapa daftarnya hanya berbahasa Inggris.
- Siapa yang bertanggung jawab? Anda. Alat tidak bisa menanggung tanggung jawab atas blokir yang keliru.
Mengapa aturan tetap menang untuk banyak server
Sebagian besar kerusakan server berasal dari beberapa pola: banjir, tautan penipuan, mention massal, dan pengambilalihan akun staf. Semuanya bisa dihitung. Aturan yang berbunyi “lebih dari sejumlah pesan dalam waktu singkat” tidak membutuhkan model dan tidak berdebat soal konteks. Jika diperlukan penilaian, seperti perdebatan yang memanas, moderator manusia dengan sistem peringatan memberikan hasil yang lebih baik daripada sebuah skor.
Bacaan lanjutan tentang moderasi
Untuk pengaturan spam yang lengkap, baca panduan anti-spam, dan untuk sistem peringatan, panduan sistem peringatan. Jika sebuah akun sudah disusupi, lihat apa yang harus dilakukan.
Pertanyaan umum
Apakah Noxyr memakai moderasi AI?
Tidak. Moderasi Noxyr berbasis aturan: anti-spam, anti-link, anti-nuke, dan peringatan. Noxyr tidak memakai AI untuk menilai pesan anggota.
Apa itu AutoMod Discord?
Alat bawaan Discord di Pengaturan Server lalu AutoMod. Alat ini punya filter kata kunci, batas spam mention, dan filter konten spam, dengan tindakan seperti memblokir pesan, memberi peringatan ke staf, atau timeout.
Apakah moderasi AI lebih baik daripada aturan?
Ia menangkap lebih banyak parafrase, tetapi membuat kesalahan yang tidak bisa dijelaskan. Aturan dapat diprediksi dan mudah dijelaskan. Banyak server menggabungkan AutoMod, bot berbasis aturan, dan tinjauan manusia.
Apakah Noxyr memakai AI di mana pun?
Ya, untuk chat AI, bantuan di dalam tiket, dan alat pengaturan Bangun dengan AI. Fitur-fitur itu menjawab pertanyaan dan mengatur fitur, dan tidak memoderasi anggota.
