Discord 上的 AI 审核如何运作(以及 Noxyr 的替代做法)
Discord 上的 AI 审核,是用训练好的模型为每条消息打分,并在分数超过阈值时采取行动。 Discord 自带的 AutoMod 则是关键词规则与垃圾信息过滤的组合。Noxyr 不使用 AI 判断消息,它的审核是基于规则的。
审核的三种方式
| 类型 | 判断方式 | 优势 | 弱点 |
|---|---|---|---|
| 基于规则 | 统计与匹配模式:每秒消息数、链接、提及 | 可预测,容易解释 | 会漏掉新的措辞 |
| 关键词列表 | 匹配你或平台列出的词语或短语 | 快速,成本低 | 可被拼写技巧规避;容易误判 |
| AI 分类器 | 模型对含义、语气或与已知违规内容的相似度进行打分 | 能识别换种说法的内容 | 判断可能出错,难以解释,需要人工复核 |
一款 AI 审核工具逐步做了什么
- 接收消息。机器人或平台在新文本发布的瞬间读取它。
- 打分。模型针对垃圾信息、诈骗或辱骂等类别返回一个概率。
- 与阈值比较。由你(或供应商)决定需要多大的把握。
- 采取行动。删除、警告、禁言,或标记以供人工处理。
- 复核。人工检查被标记的内容并纠正错误。
难点在第 3 步。阈值设得低,普通成员就会被误伤;设得高,垃圾信息又会漏过。语境使问题更复杂:朋友之间的玩笑和威胁,在模型看来可能很相似。
Discord 自带的 AutoMod
Discord 在每个服务器中都提供一款审核工具,位于“服务器设置”,然后是“AutoMod”。根据 Discord 的支持文章,它提供关键词过滤、提及垃圾信息限制和垃圾内容过滤。规则可以阻止消息、向频道发送提醒给工作人员,或禁言成员,不过不同过滤器的选项有所不同。规则需在桌面端编辑。
它是很好的第一道防线,因为它直接在 Discord 内运行,无需添加任何机器人。它的局限是:关键词过滤只认识你提供的词语;Discord 也提示,垃圾内容过滤无法捕获所有类型的垃圾信息,例如在多条消息和多个频道中重复相同的文本。
Noxyr 的做法:规则,而非 AI
Noxyr 没有 AI 审核功能。它不会用模型阅读成员的消息并加以判断。它的审核基于规则:
原因很简单:规则会按你设定的去执行,并且可以向询问“为什么我被处罚”的成员解释。对于许多服务器来说,这比捕获每一种换种说法的内容更重要。
Noxyr 确实在其他地方使用了 AI:AI 聊天回复、工单帮助和一个构建工具。这些功能用于回答问题和完成设置,并不决定谁会受到审核。另外还有 /ai check,它是一个基于词语模式的启发式工具,可以给工作人员一个提示,说明某段文本是否可能由 AI 撰写;它只是提示,不是证据,也不属于审核。参见 AI 消息检查。
实用的组合方案
- 为禁用词和提及限制开启 Discord AutoMod。
- 添加 Noxyr 的反垃圾信息和反链接,应对刷屏和不需要的链接。
- 添加反核爆,防止被劫持的工作人员账号破坏服务器。
- 使用警告功能,让真人处理重复违规的情况。
- 对所有处于边界的情况,始终由真人参与判断。
信任任何 AI 审核工具之前要问的问题
- 消息文本会被传到哪里?模型通常运行在别人的服务器上。请查看其隐私条款。
- 你能看出它为何采取行动吗?如果成员提出申诉,你需要一个你能读懂的理由。
- 默认动作是什么?标记以供复核,比自动删除或封禁更安全。
- 它如何处理其他语言和俚语?许多工具在英语上表现最好。Discord 提到,其部分自有词表仅支持英语。
- 由谁负责?是你。工具无法为错误的封禁承担责任。
为什么对许多服务器来说规则仍然更好
大多数服务器受损,通常源于少数几种模式:刷屏、诈骗链接、大量提及,以及工作人员账号被接管。这些都是可以计数的。像“在短时间内超过设定数量的消息”这样的规则不需要模型,也不会去争论语境。在需要判断的地方,例如激烈的争论,配有警告系统的人工版主,效果比单一分数更好。
更多审核内容
要完整设置反垃圾信息,请阅读反垃圾信息指南;关于警告系统,请阅读警告系统指南。如果账号已被盗用,请参阅账号被盗后怎么办。
常见问题
Noxyr 使用 AI 审核吗?
不使用。Noxyr 的审核基于规则:反垃圾信息、反链接、反核爆和警告。它不会用 AI 判断成员的消息。
什么是 Discord AutoMod?
这是 Discord 内置的工具,位于“服务器设置”,然后是“AutoMod”。它包含关键词过滤、提及垃圾信息限制和垃圾内容过滤,可执行阻止消息、提醒工作人员或禁言等动作。
AI 审核比规则更好吗?
它能识别更多换种说法的内容,但会犯无法解释的错误。规则可预测,也容易解释。许多服务器会将 AutoMod、基于规则的机器人与人工复核结合使用。
Noxyr 在哪些地方使用了 AI?
用于 AI 聊天、工单内的帮助,以及“用 AI 构建”的设置工具。它们用于回答问题和配置功能,不会审核成员。