Googleでの不快なコンテンツの分類
公開: 2020-05-06一部の単語は、その使用方法に基づいて不快または非不快になる場合があります
世界の一部の地域では、「シャグ」という言葉は、一部の人々が不快に感じる可能性のある活動を表しています。 私はその言葉の意味を使わない家で育ち、多くの部屋でシャグカーペットを敷いていました。 オースティンパワーズの映画（オースティンパワーズ：私を切り刻んだスパイ）を見て初めて、その言葉の別の意味に気づきました。
Googleの特許は、不快なコンテンツを特定し、そのようなコンテンツをそのソフトウェアのエンドユーザーに提供する前に、不快な可能性のある単語を編集（または難読化）するためにソフトウェアを使用する方法に関するものです。 一部のソフトウェアは、不快な用語が「事前定義された不快な用語のリスト」にある場合、その用語のすべてのインスタンスを削除します。 不快と見なされることがある用語が、不快ではないと見なされる文脈で見つかった場合、編集されない場合があります。
不快なコンテンツはどこで編集される可能性がありますか？
特許の説明は多くの根拠をカバーしていますが、その背後にあるプロセスを有益な方法で要約していません。 ソーシャルメディアの投稿、ビデオのトランスクリプト、テキストメッセージ、チャット、Webページ、商用Webサイト上のユーザー生成コンテンツをカバーしていることがわかります。
不快なコンテンツを含むページがウェブ上の他のページよりも低品質のコンテンツと見なされる可能性があることは言及されていませんが、Googleのインデックス、またはGoogleがある程度管理できる場所でその種類のコンテンツが難読化される可能性があるというオプションがありますコンテンツの公開（おそらくGoogle+やYoutubeを離れた場合など）を介して、またはフォーラムのスレッドやブログのユーザーコメントからコンテンツをインデックスに登録する場合。
コンテンツについて質問があり、サイト所有者が他の人を引用したり、ユーザーが作成したコンテンツをページに含めたりした場合に不快感を与える可能性がある別の場所。
コンテンツに「血まみれ」という単語が含まれている特許図面の例と、少なくとも1つのインスタンスでどのように編集されるか。
不快なコンテンツを分類する理由
一部のコンテンツは、Webの訪問者、YouTubeのコメントやトランスクリプトの読者、またはソーシャルメディアで歓迎されない場合があります。
カーペット店の顧客が店から購入したシャグカーペットがどれだけ好きかというレビューを追加したときのように、ある場所の一部の人々に不快感を与える可能性があり、他の文脈では不快感を与える可能性のある複数の意味を持ついくつかの単語。 そのレビューを曖昧にすることは、その文脈では決して不快ではないので、一部の潜在的な顧客を混乱させる可能性があります。
不快なコンテンツを識別するための分類器のトレーニング
特許の背後にある技術は、潜在的に不快である可能性のある用語が攻撃的または非攻撃的な方法で使用されているかどうかを判断するために分類子をトレーニングすることです。
これは、不快に使用されていない場合は削除せずに、不快感を与える可能性のあるコンテンツを編集するために行うことができます。
この特許は次のように述べています。
分類器は、テキストサンプル全体のコンテンツからの1つ以上の信号（たとえば、特徴）を分析して、その用語がテキストサンプルで冒とく的、蔑称的、またはその他の不快な方法で使用されているかどうかを判断するようにトレーニングできます。
また、分類子は、コンテンツベースの情報を超えて、テキストサンプルにある程度の不快感が含まれているかどうかを判断するときにコンテキストを使用する可能性があるとも言われています。
この特許は、「シャグという言葉は、ある文脈では不快である可能性があり、他の文脈では不快ではない可能性がある」と述べています。
たとえば、「シャグ」という言葉は、特定の状況では不快かもしれませんが、他の状況では不快ではありません。
したがって、「今夜シャグできることを願っています」は不快かもしれませんが、「この素晴らしいウールシャグは美しいパターンを持っています」はそうではない可能性があります。
これらの各テキストサンプルのコンテンツに含まれる「shag」という単語のコンテキストを使用して、最初のサンプルが不快であり、2番目のサンプルが不快ではないことを判断できます。
また、Googleは、サンプルがラグ小売店の顧客からのものであるかどうかなど、外部のコンテキスト情報を調べることができます。これは、カーペットの種類を参照していることを示しています。
攻撃的な言語分類子をトレーニングするための機械学習
テキストサンプルのコンテンツまたはテキストサンプルに関するコンテキスト情報を確認することに加えて、Googleは機械学習技術を使用して不快なコンテンツを特定する場合があります。
このドキュメントでは、半教師あり機械学習手法を使用して分類器をトレーニングできることについてさらに説明します。
潜在的に不快な用語を含むトレーニングサンプルの最初のセットは、攻撃的または非攻撃的のいずれかとして手動でラベル付けできます。
サンプルの最初のセットは、不快な単語の分類子を最初にトレーニングするために使用できます。
その後、分類器は「分類器の精度を向上させるために、複数のトレーニング反復で繰り返し再トレーニングされる」可能性があると言われています。
この機械学習アプローチについて、また、人間を使用してトレーニングデータにラベルを付けることから、トレーニングデータにラベルを付けることへとどのように移行できるかについて詳しく説明します。
また、「特定の潜在的に不快な用語が最初のテキストサンプルで不快に使用されているかどうかをラベルが正しく示しているという確信」を示す「ラベル信頼スコア」を作成する場合もあります。
このアプローチでは、n-gramに関する情報を使用して、不快なコンテンツを特定することもできます。
また、「テキストサンプル内の用語の分布」を調べる可能性のある単語の袋のアプローチについても説明されています。
この特許は、テキストサンプルをトランスクリプトからの発話として記述し、特許の対象となるコンテンツの範囲を示し、さまざまなアプリケーションやWebページのページのテキストサンプルだけでなく、ビデオのトランスクリプトも見ることを目的としています。 。
特許に記載されている不快なコンテンツ分類プロセスの概要は次のとおりです。
- 多数のテキストサンプルを取得する
- 複数のテキストサンプルの中から、それぞれが特定の潜在的に不快な用語を含むテキストサンプルの最初のセットを特定する
- テキストサンプルの最初のセットのラベルを取得して、特定の潜在的に不快な用語が、テキストサンプルの最初のセットのテキストサンプルのそれぞれで不快に使用されているかどうかを示します
- 少なくとも最初のテキストサンプルのセットと最初のテキストサンプルのセットのラベルに基づいて、テキストサンプルに関連付けられた1つ以上の信号を使用して、潜在的に不快な用語かどうかを示すラベルを生成するように構成された分類器をトレーニングします。テキストサンプルで攻撃的に使用されているテキストサンプル
- 分類者に、特定の潜在的に不快な用語を含む最初のテキストサンプルを提供する
- 分類子から、特定の潜在的に不快な用語が最初のテキストサンプルで不快に使用されているかどうかを示すラベルを取得する
不快な言語分類プロセスに従うことの利点
1つ以上の潜在的に不快な用語を含むテキストサンプルにラベルを付ける分類器は、比較的少数の事前にラベル付けされたテキストサンプルを使用してトレーニングできます。
トレーニングセット（機械学習の背後にあるアルゴリズムを教えるために使用）に必要なすべてのテキストサンプルに手動でラベルを付ける必要はありません。
訓練された分類器からの出力を使用して、Web上のテキストサンプルから不快な用語を選択して編集することができます。
特定のテキストサンプルのコンテキストで不快ではない潜在的に不快な用語である用語は、編集されない場合があります。
つまり、分類子は、不快でない用語が不必要に編集されるのを防ぐことができます。
また、プラス面として、分類子は、テキストサンプルの特定の用語が、用語を個別に考慮するのではなく、テキストサンプル全体のコンテンツに基づいて、テキストサンプルで不快に使用されているかどうかを判断します。
この特許は次の場所にあります。
不快な言葉の分類
発明者：マーク・エドワード・エプスタイン、ペドロ・J・モレノ・メンヒバル
譲受人：Google LLC
米国特許：10,635,750
付与：2020年4月28日
提出日：2018年4月17日
概要
コンピュータで実装された方法は、特定の潜在的に不快な用語を含むテキストサンプルの最初のセットを識別することを含むことができる。 特定の潜在的に不快な用語が不快に使用されているかどうかを示すラベルは、テキストサンプルの最初のセットに対して取得できます。 分類器は、少なくともテキストサンプルとラベルの最初のセットに基づいてトレーニングできます。分類器は、テキストサンプルに関連付けられた1つ以上の信号を使用して、テキストサンプル内の潜在的に不快な用語がテキストサンプルで攻撃的に使用されています。 この方法は、特定の潜在的に不快な用語を含む第１のテキストサンプルを分類器に提供し、それに応じて、特定の潜在的に不快な用語が第１のテキストで不快に使用されるかどうかを示すラベルを分類器から取得することをさらに含むことができる。サンプル。