Googleが画像を検索結果に関連付ける方法

公開: 2017-04-07

プレスパス

検索結果に画像がどのように選択されるか

数年前、グーグルの元従業員の何人か（少なくとも1人は戻ってきた）がCuilという名前の検索エンジンを開始しました。これは最初に開始されたときにグーグルキラーと呼ばれていました。検索結果に画像を表示することで知られるようになりましたが、それらの画像は必ずしも適切に選択されていたり、正確であるとは限りませんでした。Cuilの検索結果での画像に対する批判の例については、このブログ投稿を参照してください。

グーグルは何年もの間ニュース結果の隣に画像を表示してきました。 Cuilが自分たちの画像で犯していたような間違いを、どうやって避けたのでしょうか。今週Googleに特許が付与され、ニュースの結果に表示される画像をより正確にするためにGoogleが行っていることのいくつかについて説明しています。

特許の説明の上部に向かって、彼らはニュース結果とともに画像を表示する理由と、そうすることの課題の1つについて教えてくれます。

ニュースドキュメントの場合、ユーザーはニュースドキュメントに関連する画像を見ることが有益であると感じるかもしれません。ただし、多くの場合、ニュースドキュメントには複数の画像が含まれており、その一部はニュースドキュメントのトピックに関連していない可能性があります。これにより、ニュースドキュメントに適切な画像を自動的に選択することが困難になります。

彼らは、彼らが示す新しい結果で正確で役立つ画像を使用しようとするために彼らが行ったアプローチの要約を私たちに与えます：

本発明の原理と一致する一態様によれば、方法は、文書に関連付けられた画像を識別し、画像をフィルタリングして候補画像のセットを作成し、候補画像に関連付けられたキャプションを検出し、関連付けられる候補画像の１つを選択することを含む。検出されたキャプションに基づいたドキュメントで。

この新しく付与された特許は次のとおりです。

ニュース検索用の画像選択
発明者：Hong Zhou、Srdjan Mitrovic、Krishna Bharat、Michael Schmitt、Michael Curtiss
譲受人：Google Inc.
米国特許9,613,061
付与：2017年4月4日
提出日：2014年5月28日

概要

システムは、いくつかの第１の画像を含む第１の文書を識別し、多くの第２の画像を含む第２の文書を識別し、第１の文書と第２の文書との間の関係に基づいてクラスタを形成する。システムは、第１の画像の１つに関連する第１のキャプションを識別し、第２の画像の１つに関連する第２のキャプションを識別し、第１のキャプションに基づいてクラスタの代表的な画像として第２の画像の１つの第１の画像の１つを選択する。または2番目のキャプションで、代表的な画像をクラスターに関連付けます。

ニュースクロールユニット

この特許は、「ニュースクロールユニット」の動作について説明しています。これは、主にニュースドキュメントのクロールに焦点を当てた場合に、ニュース指向のGooglebotがどのように動作するかを想像するのに少し嘘をついているようです。それは、ニュースソースに関連付けられる可能性のあるURLで始まるWebの集中的なクロールに進む可能性があります。ニュース記事に含めるために、これらのページの画像をキャプチャします。

ニュースクロールユニットは、抽出されたアドレスに基づいて画像をクロールし、画像および画像に関連するその他の情報を保存することもできます。例えば、ニュースクロールユニットは、画像に関連する時間情報および参照カウント情報を取得することができる。時間情報は、「ストック画像」（つまり、同じトピックに関連する複数のニュースドキュメントで使用される画像）を識別するのに役立つ場合があります。ストック画像は、適切な候補画像と見なされる場合があります。参照カウント情報は、同じホスト上の複数のニュースドキュメントによってリンクされているが、コラムニストの画像やニュースソース関連のアイコンなどのニュースドキュメントのトピックに直接関連していない画像を識別するのに役立つ場合があります。参照数が多い画像は、適切な候補画像にならない可能性があります。

これで、ニュース記事に付随する画像をGoogleがどのように選択できるかについてのアイデアが始まります。この特許は、奇妙な形やフォーマットの画像や、ソースニュースドキュメントのトピックとは関係のない画像など、検索結果に表示するのに適していない可能性のある画像から、適切な候補画像をどのように分類するかを示しています。広告やコラムニストに関連する画像など、近くにあります。

この特許はまた、特定の寸法サイズまたはアスペクト比未満の画像（高すぎたり狭すぎたりする可能性がある）も候補画像（ニュース結果に表示される候補）として除外される可能性があることを示しています。

また、リンクされた画像は広告であることが多いため、リンクを含む画像は候補から除外される可能性があるとも言われています。

ニュースソースがホストされている場所以外の場所でホストされている画像も、コンテンツ配信ネットワークからのものでない限り広告である可能性があるため、候補画像として除外される場合があります。

画像のキャプション

画像がクロールされると、画像のキャプションに関する情報が検出される場合があります。これは、画像の説明として適切である可能性があり、画像がソースニュースドキュメントのトピックに関連しているかどうかを示します。

テーブルセル内など、HTMLタグ内で画像とテキストが一緒にキャプチャされる場合、そのテキストは画像に関連付けられる場合があります。同様に、代替テキストを画像に関連付けて、ニュース結果として使用するときに画像の代替テキストとして使用することもできます。

この特許は、画像の代替テキストの一部のテストを分析して、画像の作成者の名前を特定する可能性のある単語や、ニュースドキュメント。代替テキストに毒語が含まれていない場合は、画像のキャプションとして使用される可能性があります。

画像がテキスト付きのテーブルセルなどのHTMLコンテナ内にある場合、そのテキストは画像のキャプション（または隣接するセルからのテキスト）として使用される場合があります。

HTMLコンテナを共有するテキストが特定のしきい値を超えているか、大きすぎる場合は、ニュースドキュメントの一部である可能性があるため、キャプションとは見なされない可能性があります。

画像スコア

この特許は、各候補画像の画像スコアが次のような特定の要因に基づいて作成される可能性があることを示しています。

画像サイズ
ニュースドキュメントのタイトルまでの距離
画像のキャプションとニュースドキュメントの重心の重なり

追加のフィルター

また、ニュースソースからの画像をニュース結果のニュース記事に添付するかどうかを決定するために、他のいくつかのフィルターが使用される可能性があるとも言われています。これらには次のものが含まれます。

テキストを含む画像
写真ではなく、クリップアートのように見える画像
すべて同じ色の画像
その他の基準

クラスターレベルの画像

新しいトピックは、多くの場合、それらのトピックに関するドキュメントのクラスターに分割されます。

この特許は、画像がクラスター内でトピックに関連付けられている可能性があり、トピッククラスター内の最高ランクの画像は、そのクラスター内のソースニュースドキュメントのランクに基づいて決定される可能性があることを示しています。クラスター、「そのイメージがクラスターを表す可能性が高い」

また、画像のキャプションに含まれる単語が見られる可能性があり、画像のキャプションに含まれる単語がクラスター内のドキュメントの本文に表示される回数が多いほど、画像がに関連している可能性が高いと言われています。クラスターのトピック。

その他のアプリケーション

私は、特許の終わり近くにある1つまたは複数の文が、予想よりも多くの意味を持つ可能性があるいくつかの特許を見てきました。この特許にはそのような文があり、次のように書かれています。

さらに、ニュース検索の文脈で説明されているが、本発明の原理と一致するシステムおよび方法は、製品検索などの非ニュース検索に適用され得る。

ニュース検索だけでなく、関連する画像を検索結果に適用するために、Googleが特許に記載されている方法のいくつかをどのように使用するかを考えるのは悪い考えではないようです。 Cuilのようなものでしたが、おそらくCuilよりも優れていました。