5 phút đọc
Bởi Mike
Cách kiểm duyệt bằng AI hoạt động trên Discord (và Noxyr làm gì thay thế)
Kiểm duyệt bằng AI trên Discord hoạt động bằng cách chấm điểm từng tin nhắn bằng một mô hình đã được huấn luyện, rồi hành động khi điểm vượt ngưỡng. AutoMod của chính Discord là sự kết hợp giữa quy tắc từ khóa và bộ lọc spam. Noxyr không dùng AI để đánh giá tin nhắn: việc kiểm duyệt của nó dựa trên quy tắc.
Ba cách kiểm duyệt có thể hoạt động
| Loại | Cách quyết định | Điểm mạnh | Điểm yếu |
|---|---|---|---|
| Dựa trên quy tắc | Đếm và so khớp mẫu: số tin nhắn mỗi giây, liên kết, lượt nhắc tên | Dễ đoán, dễ giải thích | Bỏ lọt cách diễn đạt mới |
| Danh sách từ khóa | So khớp các từ hoặc cụm từ do bạn hoặc nền tảng liệt kê | Nhanh, rẻ | Né bằng cách viết sai chính tả; báo nhầm |
| Bộ phân loại AI | Mô hình chấm điểm ý nghĩa, giọng điệu hoặc mức độ giống với nội dung xấu đã biết | Bắt được cách diễn đạt lại | Đánh giá sai, khó giải thích, cần xem xét |
Một công cụ kiểm duyệt AI làm gì, từng bước
- Nhận tin nhắn. Bot hoặc nền tảng đọc văn bản mới ngay khi nó được đăng.
- Chấm điểm. Một mô hình trả về xác suất cho các loại như spam, lừa đảo hoặc lạm dụng.
- So với ngưỡng. Bạn (hoặc nhà cung cấp) quyết định mức độ chắc chắn phải đạt.
- Hành động. Xóa, cảnh báo, cấm thời gian hoặc gắn cờ để con người xử lý.
- Xem xét. Con người kiểm tra các cờ và sửa những lỗi sai.
Phần khó là bước 3. Đặt ngưỡng thấp thì thành viên bình thường sẽ bị dính. Đặt ngưỡng cao thì spam sẽ lọt qua. Ngữ cảnh làm mọi thứ tệ hơn: một câu đùa giữa bạn bè và một lời đe dọa có thể trông giống nhau với một mô hình.
AutoMod của chính Discord
Discord có sẵn một công cụ kiểm duyệt trong mọi máy chủ, nằm ở Cài đặt máy chủ, rồi đến AutoMod. Theo bài hỗ trợ của Discord, nó có bộ lọc từ khóa, giới hạn spam nhắc tên và bộ lọc nội dung spam. Một quy tắc có thể chặn tin nhắn, gửi cảnh báo đến một kênh cho nhân viên, hoặc cấm thành viên một thời gian, dù các tùy chọn khác nhau tùy theo bộ lọc. Quy tắc được chỉnh sửa trên máy tính.
Đây là lớp đầu tiên tốt vì nó chạy ngay trong Discord mà không cần thêm bot. Giới hạn của nó: các bộ lọc từ khóa chỉ biết những từ bạn đưa vào, và Discord lưu ý rằng bộ lọc nội dung spam không bắt được mọi loại spam, chẳng hạn cùng một nội dung lặp lại qua nhiều tin nhắn và kênh.
Noxyr làm gì: quy tắc, không phải AI
Noxyr không có tính năng kiểm duyệt bằng AI. Nó không dùng mô hình để đọc tin nhắn của thành viên và đánh giá chúng. Việc kiểm duyệt của nó dựa trên quy tắc:
- Chống spam giới hạn các đợt tin nhắn dồn dập, lượt nhắc tên và liên kết.
- Chống liên kết chặn liên kết mời và các tên miền không mong muốn.
- Chống nuke ngăn việc cấm hàng loạt và xóa kênh do một tài khoản bị xâm nhập thực hiện.
- Cảnh báo cho nhân viên một con đường leo thang rõ ràng.
Lý do rất đơn giản. Quy tắc làm đúng những gì bạn bảo nó làm, và có thể giải thích cho một thành viên hỏi vì sao họ bị phạt. Với nhiều máy chủ, điều đó quan trọng hơn việc bắt được mọi cách diễn đạt lại.
Noxyr có AI ở những chỗ khác: trả lời trò chuyện AI, hỗ trợ trong ticket và công cụ xây dựng. Chúng trả lời câu hỏi và thiết lập mọi thứ. Chúng không quyết định ai bị kiểm duyệt. Ngoài ra còn có /ai check, một heuristic dựa trên mẫu từ giúp nhân viên có gợi ý về việc văn bản có được viết bởi AI hay không; đó chỉ là gợi ý, không phải bằng chứng, và không phải là kiểm duyệt. Xem kiểm tra tin nhắn AI.
Một bộ công cụ thực tế
- Bật AutoMod của Discord cho danh sách từ bị cấm và giới hạn lượt nhắc tên.
- Thêm chống spam và chống liên kết của Noxyr cho các đợt tràn tin nhắn và liên kết không mong muốn.
- Thêm chống nuke để một tài khoản nhân viên bị chiếm quyền không thể phá hoại máy chủ.
- Dùng cảnh báo để con người xử lý các trường hợp tái phạm.
- Luôn giữ con người trong vòng xử lý với mọi trường hợp ở ranh giới.
Những câu hỏi nên đặt ra trước khi tin bất kỳ bộ kiểm duyệt AI nào
- Nội dung tin nhắn đi đâu? Một mô hình thường chạy trên máy chủ của bên khác. Hãy kiểm tra điều khoản quyền riêng tư.
- Bạn có thể thấy vì sao nó hành động không? Nếu một thành viên kháng nghị, bạn cần một lý do bạn có thể đọc được.
- Hành động mặc định là gì? Gắn cờ để xem xét an toàn hơn là tự động xóa hoặc cấm.
- Nó xử lý các ngôn ngữ khác và tiếng lóng thế nào? Nhiều công cụ mạnh nhất với tiếng Anh. Discord lưu ý rằng một số danh sách của chính họ chỉ có tiếng Anh.
- Ai chịu trách nhiệm? Bạn. Một công cụ không thể chịu trách nhiệm cho một lệnh cấm sai.
Vì sao quy tắc vẫn thắng với nhiều máy chủ
Phần lớn thiệt hại cho máy chủ đến từ một vài mẫu: các đợt tràn tin nhắn, liên kết lừa đảo, lượt nhắc tên hàng loạt và việc tài khoản nhân viên bị chiếm. Đó là những thứ có thể đếm được. Một quy tắc nói “nhiều hơn một số tin nhắn nhất định trong thời gian ngắn” không cần mô hình và không tranh cãi về ngữ cảnh. Ở những chỗ cần phán đoán, chẳng hạn một cuộc tranh cãi gay gắt, một người kiểm duyệt có hệ thống cảnh báo sẽ cho kết quả tốt hơn một điểm số.
Thêm về kiểm duyệt
Để có đầy đủ cách thiết lập chống spam, đọc hướng dẫn chống spam, và về hệ thống cảnh báo, đọc hướng dẫn hệ thống cảnh báo. Nếu một tài khoản đã bị xâm nhập, xem nên làm gì.
Câu hỏi thường gặp
Noxyr có dùng kiểm duyệt bằng AI không?
Không. Kiểm duyệt của Noxyr dựa trên quy tắc: chống spam, chống liên kết, chống nuke và cảnh báo. Nó không dùng AI để đánh giá tin nhắn của thành viên.
AutoMod của Discord là gì?
Một công cụ tích hợp sẵn của Discord, nằm ở Cài đặt máy chủ rồi đến AutoMod. Nó có bộ lọc từ khóa, giới hạn spam nhắc tên và bộ lọc nội dung spam, với các hành động như chặn tin nhắn, cảnh báo nhân viên hoặc cấm thành viên một thời gian.
Kiểm duyệt bằng AI có tốt hơn quy tắc không?
Nó bắt được nhiều cách diễn đạt lại hơn nhưng lại mắc những lỗi sai không giải thích được. Quy tắc thì dễ đoán và dễ giải thích. Nhiều máy chủ kết hợp AutoMod, bot dựa trên quy tắc và xem xét của con người.
Noxyr có dùng AI ở đâu không?
Có, cho trò chuyện AI, hỗ trợ trong ticket và công cụ thiết lập Build with AI. Những thứ này trả lời câu hỏi và cấu hình tính năng, chúng không kiểm duyệt thành viên.
