Grafika Google z działaniami i adnotacjami dotyczącymi uporządkowanych danych

W zeszłym roku pisałem o nowym patencie od Google, który opisywał nowe funkcje wyszukiwania wizualnego zdjęć od Google. Plotka o nowych możliwościach aplikacji Telefon na Androida towarzyszyła patentowi opisującemu wbudowaną w takie aplikacje funkcję wyszukiwania rozpoznawania konturów obiektów. Kiedy dotarliśmy na konferencję programistów I/O 2017 Google i Google ogłosiło coś, co nazywają Google Lens, wydawało się to trochę jak Deja Vu. Ta podobno funkcja nie została jeszcze wydana i nie jest to jednak to samo. Jest trochę inny i wygląda na to, że koncentruje się na interesujących działaniach związanych z danymi strukturalnymi.

Obserwowałem patenty od Google, ale przegapiłem jeden, a ludzie z Patently Apple zgłosili jeden od początku miesiąca:

Patent na funkcję aparatu rzeczywistości rozszerzonej Google o nazwie „Google Lens” pojawia się w Urzędzie Patentowym USA

Po przeczytaniu pomyślałem, że warto bliżej przyjrzeć się patentowi. Patent mówi nam, że skupia się na podejmowaniu działań na podstawie treści znalezionych na obrazach.

Patent to:

Interfejs użytkownika inteligentnej kamery
Wynalazcy: Teresa Ko, Adam Hartwig, Mikkel Crone Koser, Alexei Masterov, Andrews-Junior Kimbembe, Matthew J. Bridges, Paul Chang, David Petrou i Adam Berenzweig
Amerykańskie zgłoszenie patentowe: 20170155850
Przyznano: 1 czerwca 2017 r.
Złożono: 9 lutego 2017 r.

Abstrakcyjny

Implementacje niniejszego ujawnienia obejmują działania polegające na odbieraniu danych obrazu obrazu przechwytującego scenę, odbieraniu danych opisujących jeden lub więcej podmiotów określonych ze sceny, jeden lub więcej podmiotów określanych na podstawie sceny, określanie jednego lub więcej działań na podstawie jednego lub więcej podmiotów, przy czym każda akcja jest dostarczana przynajmniej częściowo w oparciu o wyniki wyszukiwania z wyszukiwania jednego lub więcej podmiotów, oraz dostarczanie instrukcji do wyświetlenia interfejsu akcji zawierającego jeden lub więcej elementów akcji, przy czym każdy element akcji ma na celu wywołanie wykonania odpowiedniej akcji, interfejs akcji wyświetlany w wizjerze.

Działania związane z obrazami

Przykładowe działania, które ludzie mogą wykonać na podstawie znalezienia treści na obrazach, mogą obejmować:

(1) Udostępnianie treści, takich jak obrazy i wideo,
(2) Zakup jednego lub więcej przedmiotów,
(3) Pobieranie treści, takich jak muzyka, wideo lub obrazy,
(4) Akcja dodawania wydarzenia, taka jak dodanie wydarzenia do kalendarza, oraz
(5) Akcja dodawania do albumu, którą można wykonać w celu dodania treści, np. obrazów, do albumu, np. albumu fotograficznego.

Patent wykorzystuje dane w obrazach, w przeciwieństwie do kodów do odczytu maszynowego, takich jak kody kreskowe. Może rozpoznawać jednostki znalezione na obrazach za pomocą programu do rozpoznawania jednostek. Istotą może być rzecz, a nie tylko osoba lub miejsce, takie jak hamburger lub jedzenie. Akcje, które mogą być skojarzone z określonymi jednostkami, mogą być definiowane przez adnotacje, które są z nimi skojarzone. Patent mówi nam:

W niektórych przykładach jedna lub więcej adnotacji jest skojarzonych z każdą jednostką jednej lub więcej jednostek. W niektórych przykładach zestaw jednostek można dostarczyć do aparatu adnotacji, który przetwarza zestaw jednostek w celu dostarczenia zestawu adnotacji. W niektórych przykładach silnik adnotacji jest dostarczany jako jeden lub więcej programów wykonywalnych przez komputer, które mogą być wykonywane przez jedno lub więcej urządzeń obliczeniowych, np. urządzenie i/lub system serwera. W niektórych implementacjach aparat rozpoznawania jednostek i aparat adnotacji są połączone, np. są tym samym aparatem.

Jednym z typów adnotacji, które mogą być powiązane z jednostką rozpoznawaną na obrazie, jest czynność związana z wyszukiwaniem:

Na przykład jednostka może zawierać tekst „Najlepszy zespół w historii”, który jest przedstawiony w danych obrazu i który jest nazwą zespołu muzyków. W niektórych przykładach tekst „Najlepsze pasmo w historii” może być dostarczony jako zapytanie wyszukiwania do wyszukiwarki, a wyniki wyszukiwania mogą być dostarczone, które są powiązane z konkretnym pasmem. Przykładowe wyniki wyszukiwania mogą zawierać daty tras koncertowych, albumy i/lub towary związane z zespołem, które to wyniki wyszukiwania można podać jako adnotacje.

Działania i obrazy dotyczące uporządkowanych danych

Patent wskazuje na możliwość, że adnotacja „może być dostarczona w oparciu o odnośniki jednostek z ustrukturyzowanym wykresem danych. np. wykres wiedzy.”

Patent zawiera trzy przykłady, w jaki sposób działania mogą być dostarczane, gdy są one przypisane do jednostek lub adnotacji:

(1) Na przykład encja i/lub adnotacja powiązana z wydarzeniem, np. koncertem, może zostać zmapowana do akcji dodawania wydarzenia, którą można wykonać w celu dodania wydarzenia do kalendarza i/lub do zakupu akcja, np. zakup biletów na wydarzenie, zakup albumów. W konsekwencji akcja dodawania zdarzenia i/lub akcja zakupu mogą być zawarte w jednym lub większej liczbie zdarzeń.

(2) Jako inny przykład, encja i/lub adnotacja mogą odpowiadać albumowi obrazów użytkownika, np. albumowi żywności, i mogą być mapowane na akcję dodawania do albumu, którą można wykonać w celu dodania treści, np. obrazu , do albumu. W związku z tym akcja jest realizowana w oparciu o informacje specyficzne dla użytkownika, np. wiedzę, że użytkownik posiada album obrazów związany z podmiotem przedstawionym na obrazie.

(3) Jako inny przykład, jednostka i/lub adnotacja mogą odpowiadać jednemu lub większej liczbie kontaktów użytkownika, np. w serwisie społecznościowym, i mogą być mapowane na akcję udostępniania obrazu, którą można wykonać w celu udostępnienia obrazu kontakty. W związku z tym akcja jest realizowana w oparciu o informacje specyficzne dla użytkownika, np. wiedzę, że użytkownik zazwyczaj udostępnia treści przedstawione na obrazie określonym kontaktom.

Patent wskazuje również na inne przykłady.

Książka przechwycona w danych graficznych może zwracać informacje o uporządkowanych danych powiązanych z tą książką, takie jak: obraz okładki, tytuł, streszczenie, autor, data publikacji, gatunek.

Zespół reprezentowany w danych obrazu może zwrócić uporządkowane informacje związane z zespołem, takie jak: zdjęcie zespołu, lista członków zespołu, lista albumów.

Zabierz na wynos

Prezentacja Google I/O zawierała informacje o firmie, która została zwrócona w odpowiedzi na zrobienie zdjęcia tej konkretnej firmy. Wygląda na to, że zwraca dane z adnotacji opartych na informacjach z wykresu wiedzy o firmie. Google nie obiecuje, że jeśli Twoja firma zostanie zweryfikowana w Google MyBusiness, automatycznie uzyska w wynikach wyszukiwania wykres wiedzy o Twojej firmie. Ale w wielu przypadkach wydaje się, że pomaga. Wyobrażam sobie, że Google prawdopodobnie opublikuje więcej informacji o tym, jak skonfigurować uporządkowane dane, aby mieć określone adnotacje powiązane z różnymi podmiotami. Wygląda na to, że Google będzie znajdować sposoby na wykorzystanie danych strukturalnych ze stron internetowych, których ludzie mogli się nie spodziewać, takich jak wyniki wyszukiwania podobnych elementów, wprowadzone w ciągu ostatnich kilku miesięcy.