Google Bilder mit strukturierten Datenaktionen und Anmerkungen

Letztes Jahr habe ich über ein neues Patent von Google geschrieben, das die neuen visuellen Suchfotofunktionen von Google beschreibt. Ein Gerücht über neue Fähigkeiten von Telefon-Apps von Android begleitete ein Patent, das eine in solche Apps integrierte Suchfunktion zur Erkennung von Objektkonturen beschrieb. Als wir auf der Entwicklerkonferenz I/O 2017 von Google ankamen und Google etwas ankündigte, das sie Google Lens nannten, schien es ein bisschen wie Deja Vu. Dieses gemunkelte Feature wurde noch nicht veröffentlicht, und es ist jedoch nicht ganz dasselbe. Es ist ein wenig anders, und es scheint, dass es sich auf interessante strukturierte Datenaktionen konzentriert.

Ich habe nach Patenten von Google Ausschau gehalten, aber ich habe eines übersehen, und die Leute von Patently Apple haben Anfang des Monats über eines berichtet:

Das Patent hinter Googles Augmented-Reality-Kamera-Funktion namens "Google Lens" taucht beim US-Patentamt auf

Nachdem ich das gelesen hatte, dachte ich, es lohnt sich, das Patent genauer unter die Lupe zu nehmen. Das Patent sagt uns, dass es sich darauf konzentriert, Maßnahmen zu ergreifen, die auf Inhalten in Bildern basieren.

Das Patent lautet:

Benutzeroberfläche der Smart-Kamera
Erfinder: Teresa Ko, Adam Hartwig, Mikkel Crone Koser, Alexei Masterov, Andrews-Junior Kimbembe, Matthew J. Bridges, Paul Chang, David Petrou und Adam Berenzweig
US-Patentanmeldung: 20170155850
Bewilligt: ​​1. Juni 2017
Gespeichert: 9. Februar 2017

Abstrakt

Implementierungen der vorliegenden Offenbarung umfassen Aktionen zum Empfangen von Bilddaten eines eine Szene aufnehmenden Bildes, Empfangen von Daten, die eine oder mehrere aus der Szene bestimmte Entitäten beschreiben, wobei die eine oder mehreren Entitäten aus der Szene bestimmt werden, Bestimmen einer oder mehrerer Aktionen basierend auf der einen oder mehrere Entitäten, wobei jede Aktion zumindest teilweise basierend auf Suchergebnissen aus der Suche der einen oder mehreren Entitäten bereitgestellt wird und Anweisungen zum Anzeigen einer Aktionsschnittstelle bereitstellt, die ein oder mehrere Aktionselemente umfasst, wobei jedes Aktionselement die Ausführung einer jeweiligen Aktion herbeiführen soll, die Aktionsschnittstelle wird in einem Sucher angezeigt.

Mit Bildern verknüpfte Aktionen

Beispiele für Aktionen, die Personen basierend auf dem Auffinden von Inhalten in Bildern ergreifen können, können Folgendes umfassen:

(1) Teilen von Inhalten wie Bildern und Videos,
(2) Kauf eines oder mehrerer Artikel,
(3) Herunterladen von Inhalten wie Musik, Videos oder Bildern,
(4) Eine Aktion zum Hinzufügen von Ereignissen, wie das Hinzufügen eines Ereignisses zu einem Kalender, und
(5) Eine Aktion zum Hinzufügen zu einem Album, die ausgeführt werden kann, um Inhalt, zB Bilder, zu einem Album, zB einem Fotoalbum, hinzuzufügen.

Das Patent verwendet Daten in Bildern, im Gegensatz zu maschinenlesbaren Codes wie Strichcodes. Es kann in Bildern gefundene Entitäten unter Verwendung eines Entitätserkennungsprogramms erkennen. Eine Entität kann eine Sache und nicht nur eine Person oder ein Ort sein, wie z. B. ein Hamburger oder ein Essen. Aktionen, die bestimmten Entitäten zugeordnet sein können, können durch Anmerkungen definiert werden, die diesen zugeordnet sind. Das Patent sagt uns:

In einigen Beispielen sind jeder Entität der einen oder mehreren Entitäten eine oder mehrere Anmerkungen zugeordnet. In einigen Beispielen kann der Satz von Entitäten einer Annotations-Engine bereitgestellt werden, die den Satz von Entitäten verarbeitet, um einen Satz von Annotationen bereitzustellen. In einigen Beispielen wird die Annotation Engine als ein oder mehrere computerausführbare Programme bereitgestellt, die von einem oder mehreren Computergeräten ausgeführt werden können, z. B. dem Gerät und/oder dem Serversystem. In einigen Implementierungen werden die Entitätserkennungs-Engine und die Annotations-Engine kombiniert, z. B. sind sie dieselbe Engine.

Eine Art von Anmerkung, die einer Entität zugeordnet werden könnte, die in einem Bild erkannt werden könnte, wäre eine suchbezogene Aktion:

Eine Entität kann beispielsweise den Text „Best Band Ever“ enthalten, der in den Bilddaten dargestellt ist und der der Name einer Musikerband ist. In einigen Beispielen kann der Text „Best Band Ever“ als Suchabfrage an die Suchmaschine bereitgestellt werden und es können Suchergebnisse bereitgestellt werden, die mit der bestimmten Band verknüpft sind. Beispielhafte Suchergebnisse können Tourdaten, Alben und/oder mit der Band verbundene Merchandise-Artikel umfassen, wobei die Suchergebnisse als Anmerkungen bereitgestellt werden können.

Aktionen und Bilder mit strukturierten Daten

Das Patent weist auf die Möglichkeit hin, dass eine Annotation „auf Basis von Querverweisen auf Entitäten mit einem strukturierten Datengraphen bereitgestellt werden kann. zB Wissensgraph.“

Das Patent enthält drei Beispiele dafür, wie Aktionen bereitgestellt werden können, wenn sie Entitäten oder Anmerkungen zugeordnet werden:

(1) Zum Beispiel kann eine Entität und/oder Anmerkung, die mit einem Ereignis, z. B. einem Konzert, verknüpft ist, einer Aktion zum Hinzufügen eines Ereignisses zugeordnet werden, die ausgeführt werden kann, um ein Ereignis zu einem Kalender und/oder einem Kauf hinzuzufügen Aktion, zB um Tickets für die Veranstaltung zu kaufen, Alben zu kaufen. Folglich können die Aktion zum Hinzufügen eines Ereignisses und/oder die Aktion zum Kauf in das eine oder die mehreren Ereignisse eingeschlossen werden.

(2) Als weiteres Beispiel kann eine Entität und/oder Anmerkung einem Bildalbum des Benutzers entsprechen, z. B. einem Lebensmittelalbum, und kann einer Aktion zum Hinzufügen zum Album zugeordnet werden, die ausgeführt werden kann, um Inhalt hinzuzufügen, z. B. ein Bild , zu einem Album. Dementsprechend wird die Aktion basierend auf benutzerspezifischen Informationen bereitgestellt, beispielsweise dem Wissen, dass der Benutzer ein Bildalbum besitzt, das für die in dem Bild dargestellte Entität relevant ist.

(3) Als weiteres Beispiel kann eine Entität und/oder Anmerkung einem oder mehreren Kontakten des Benutzers entsprechen, z. B. innerhalb eines sozialen Netzwerkdienstes, und kann einer Aktion zum Teilen von Bildern zugeordnet werden, die ausgeführt werden kann, um das Bild mit zu teilen die Kontakte. Dementsprechend wird die Aktion basierend auf benutzerspezifischen Informationen bereitgestellt, z. B. dem Wissen, dass der Benutzer typischerweise in dem Bild dargestellte Inhalte mit den jeweiligen Kontakten teilt.

Das Patent weist auch auf einige andere Beispiele hin.

Ein in Bilddaten erfasstes Buch kann strukturierte Dateninformationen zurückgeben, die diesem Buch zugeordnet sind, wie zum Beispiel: Bild des Covers, Titel, Zusammenfassung, Autor, Veröffentlichungsdatum, Genre.

Eine in Bilddaten dargestellte Band kann strukturierte Dateninformationen zurückgeben, die der Band zugeordnet sind, wie beispielsweise: Bild der Band, eine Liste von Bandmitgliedern, eine Liste von Alben.

Mitnehmen

Die Google I/O-Präsentation zeigte Informationen zu einem Unternehmen, das als Reaktion auf ein Foto dieses bestimmten Unternehmens zurückgegeben wurde. Das hört sich so an, als würden Daten aus einer Anmerkung zurückgegeben, die auf Knowledge Graph-Informationen über das Unternehmen basiert. Google verspricht nicht, dass, wenn Ihr Unternehmen in Google MyBusiness verifiziert wird, automatisch eine Wissensgrafik Ihres Unternehmens in den Suchergebnissen angezeigt wird. Aber es scheint in vielen Fällen zu helfen. Ich kann mir vorstellen, dass Google wahrscheinlich mehr darüber veröffentlichen wird, wie strukturierte Daten eingerichtet werden, um spezifische Anmerkungen zu verschiedenen Entitäten zu haben. Es scheint ein Zeichen dafür zu sein, dass Google Wege finden wird, strukturierte Daten von Webseiten zu verwenden, mit denen die Leute möglicherweise nicht gerechnet haben, wie etwa die in den letzten Monaten eingeführten Suchergebnisse für ähnliche Artikelbilder.