DiscordでAIモデレーションはどう動くか（Noxyrが代わりにすること）

モデレーションが働く三つの方法

AIモデレーションツールが一歩ずつ行うこと

1. メッセージを受け取る。投稿された瞬間に、ボットかプラットフォームが新しいテキストを読みます。
2. スコアを付ける。モデルが、スパム、詐欺、嫌がらせなどのカテゴリごとの確率を返します。
3. 閾値と比べる。どの程度確信があれば行動するかを、あなた（またはベンダー）が決めます。
4. 行動する。削除、警告、タイムアウト、または人へのフラグ付け。
5. 確認する。人がフラグを確認し、誤りを直します。

難しいのは三番目の段階です。低く設定すると普通のメンバーが引っかかります。高く設定するとスパムが通ります。文脈がそれをさらに難しくします。友人同士の冗談と脅しは、モデルには似て見えることがあります。

DiscordのAutoMod

Discordは、すべてのサーバーにモデレーションのツールを用意しています。サーバー設定の中のAutoModにあります。Discordのサポート記事によれば、キーワードフィルター、メンションのスパムの上限、スパムの内容のフィルターを提供しています。ルールは、メッセージのブロック、スタッフのチャンネルへの通知、またはメンバーのタイムアウトを行えますが、選べる操作はフィルターによって異なります。ルールはデスクトップで編集します。

ボットを追加せずにDiscord内で動くので、良い最初の層です。その限界は、キーワードのフィルターは与えた単語しか知らないことと、Discordはスパムの内容のフィルターがすべての種類のスパムを捉えるわけではないと注記していることです。たとえば、同じテキストが複数のメッセージやチャンネルにわたって繰り返される場合などです。

Noxyrがすること：AIではなくルール

Noxyrには、AIによるモデレーションの機能はありません。モデルでメンバーのメッセージを読んで判断することはしません。そのモデレーションはルールベースです。

• アンチスパムは、メッセージ、メンション、リンクの連投を制限します。
• アンチリンクは、招待リンクと望ましくないドメインをブロックします。
• 荒らし（ニューク）対策は、乗っ取られたアカウントによる大量のBANやチャンネルの削除を止めます。
• 警告は、スタッフに明確な段階的対応の道筋を与えます。

理由は単純です。ルールは指示したとおりに動き、なぜ処罰されたのかと尋ねるメンバーに説明できます。多くのサーバーにとっては、すべての言い換えを捉えることより、そのほうが重要です。

Noxyrはほかの場所ではAIを使っています。AIチャットの返信、チケット内のヘルプ、AIビルダーです。それらは質問に答えたり、機能を設定したりするものです。誰をモデレートするかは決めません。また/ai checkもあり、これは単語パターンのヒューリスティックで、テキストがAIで書かれたかどうかについてスタッフに手がかりを与えます。手がかりであって証拠ではなく、モデレーションでもありません。AIメッセージのチェックをご覧ください。

実用的な構成

1. 禁止語とメンションの上限のために、DiscordのAutoModをオンにする。
2. 連投と不要なリンクのために、Noxyrのアンチスパムとアンチリンクを追加する。
3. 乗っ取られたスタッフアカウントがサーバーを壊せないように、荒らし対策を追加する。
4. 繰り返しのケースは人が扱えるように、警告を使う。
5. 境界線上のものはすべて、人の判断に任せる。

どのAIモデレーターを信頼する前にも尋ねるべきこと

• メッセージのテキストはどこへ行くのか？モデルは通常、ほかの誰かのサーバーで動きます。プライバシーの条件を確認してください。
• なぜ行動したのかを確認できるか？メンバーが異議を申し立てたとき、読める理由が必要です。
• 既定の操作は何か？自動で削除やBANをするより、確認のためにフラグを立てるほうが安全です。
• ほかの言語や俗語はどう扱うか？多くのツールは英語で最も強力です。Discordは、自社のリストの一部は英語のみだと注記しています。
• 誰が責任を負うのか？あなたです。ツールは、誤ったBANの責任を負えません。

多くのサーバーでルールが依然として勝つ理由

サーバーの被害の大半は、いくつかのパターンから生じます。連投、詐欺のリンク、大量のメンション、スタッフアカウントの乗っ取りです。それらは数えられます。「短時間に一定数を超えるメッセージ」というルールは、モデルを必要とせず、文脈について議論することもありません。判断が必要な場面、たとえば白熱した議論では、警告の仕組みを備えた人のモデレーターのほうが、スコアより良い結果を出します。

モデレーションについてさらに

スパム対策の完全な設定はアンチスパムのガイドで、警告の仕組みは警告システムのガイドで読めます。アカウントがすでに乗っ取られている場合は、何をすべきかをご覧ください。