Google Zwraca wyniki wyszukiwania filmów wideo przy użyciu uczenia maszynowego?

Problemy z wynikami wyszukiwania filmów

Problemem dla wyszukujących jest sytuacja, w której mogą szukać filmu w odpowiedzi na zapytanie. Niedawno przyznany patent Google opisuje, w jaki sposób Google może odpowiadać na zapytania, które pojawiają się w wynikach wyszukiwania wideo. Patent mówi nam, że jego celem jest „identyfikacja filmów lub ich części, które są istotne dla wyszukiwanych haseł”.

Algorytm stojący za patentem próbuje rozwiązać problem szczegółowo opisany w opisie patentu.

Mówi nam to, że osoby korzystające z „witryn obsługujących media” zwykle przeglądają lub przeszukują hostowane treści multimedialne, takie jak filmy, próbując użyć słów kluczowych lub wyszukiwanych haseł w zapytaniach, aby znaleźć „metadane tekstowe opisujące treści multimedialne”. Co rozumie się przez „metadane tekstowe” może obejmować:

• Tytuły plików multimedialnych
• Opisowe streszczenia treści medialnych

Patent wyjaśnia, dlaczego może to stanowić problem. Mówi nam, że takie metadane tekstowe często nie mogą być reprezentatywne dla całej treści filmu, zwłaszcza jeśli film jest bardzo długi i zawiera różne sceny.

Zazwyczaj opis towarzyszący filmowi jest dość krótki i nie opisuje wszystkich scen w filmie. Może to oznaczać, że film, który może być tym, czego szuka osoba wyszukująca, może nie zostać zwrócony w odpowiedzi na wyszukiwanie słów kluczowych, które mogą opisywać takie sceny. Jak mówi nam patent:

W związku z tym konwencjonalne wyszukiwarki często nie zwracają treści multimedialnych najbardziej odpowiednich dla wyszukiwania użytkownika

Inny problem z większością witryn hostingowych multimediów wynika z dużej ilości hostowanych treści multimedialnych, zapytanie wyszukiwania może zwrócić setki, a nawet tysiące filmów odpowiadających na zapytanie użytkownika.

Może to oznaczać, że użytkownik może mieć problem z określeniem, który z wyników wyszukiwania filmów wideo jest najtrafniejszy.

Aby ułatwić komuś decyzję, który film może być najbardziej odpowiedni, witryna internetowa może wyświetlać te wyniki wyszukiwania z miniaturami

Często miniatury obrazów wideo to z góry określona klatka z pliku wideo (prawdopodobnie pierwsza klatka, środkowa klatka lub ostatnia klatka).

Może to stanowić problem, ponieważ miniatury wybrane w ten sposób często nie odzwierciedlają treści filmu. A ta miniatura może nie pasować do zapytania wyszukiwanego przez użytkownika. Jeśli tak nie jest, użytkownik może nie być w stanie ocenić, który z wielu wyników wyszukiwania jest najtrafniejszy.

Ze względu na te problemy z wynikami wyszukiwania wideo, ten patent próbuje zapewnić ulepszone metody znajdowania i prezentowania wyników wyszukiwania wideo, aby umożliwić użytkownikowi łatwą ocenę trafności tych filmów.

Ulepszone wyniki wyszukiwania wideo

To podejście do wyników wyszukiwania filmów wideo służy do znajdowania i prezentowania wyników wideo, które odpowiadają na zapytanie użytkownika ze słowa kluczowego. Ten system:

• Otrzymuje zapytanie o słowo kluczowe od osoby wyszukującej
• Wybiera film wideo, którego treść jest odpowiednia dla zapytania słowa kluczowego
• Wybiera klatkę z filmu, która jest reprezentatywna dla treści filmu, za pomocą indeksu wideo, który przechowuje wyniki skojarzeń słów kluczowych między klatkami kilku filmów i słów kluczowych powiązanych z klatkami wideo
• Wybrana klatka jest pokazana jako miniatura wideo

W jaki sposób ten system korzysta z modelu uczenia maszynowego, aby zwracać wyniki wyszukiwania filmów wideo

Ten system robi to poprzez:

• Tworzenie przeszukiwalnego indeksu wideo z modelem uczącym się maszynowo relacji między cechami klatek wideo a słowami kluczowymi opisującymi treść wideo
• Odbieranie oznaczonego zestawu danych szkoleniowych, który zawiera zestaw elementów multimedialnych (np. obrazów lub klipów audio) wraz z co najmniej jednym słowem kluczowym opisującym zawartość tych elementów multimedialnych
• Wyodrębnianie cech charakteryzujących zawartość elementów multimedialnych
• Uczenie się korelacji między poszczególnymi cechami a słowami kluczowymi opisującymi treść
• Tworzenie indeksu wideo, który mapuje klatki wideo w bazie danych wideo na słowa kluczowe w oparciu o cechy wideo i model wyuczony maszynowo

Patent mówi nam, że zaletą korzystania z procesu z tego patentu jest to, że ten system hostingu wideo znajduje i prezentuje wyniki wyszukiwania w oparciu o rzeczywistą treść filmów, zamiast polegać wyłącznie na metadanych tekstowych znalezionych w pobliżu filmów. Umożliwia wyszukiwarce lepszą ocenę trafności filmów z wyników wyszukiwania.

Ten patent na wyniki wyszukiwania wideo można znaleźć pod adresem:

Wybór obrazu na podstawie trafności
Wynalazcy: Gal Chechik i Samy Bengio
Pełnomocnik: Google LLC
Patent USA: 10 614 124
Przyznano: 7 kwietnia 2020 r.
Złożony: 15 kwietnia 2015 r.

Abstrakcyjny

System, odczytywalny komputerowo nośnik pamięci i metoda zaimplementowana komputerowo przedstawia wyniki wyszukiwania wideo w odpowiedzi na zapytanie użytkownika za pomocą słowa kluczowego. System hostingu wideo wykorzystuje proces uczenia maszynowego do uczenia się modelu funkcji i słowa kluczowego kojarzącego funkcje treści multimedialnych z oznaczonego zestawu danych szkoleniowych ze słowami kluczowymi opisującymi ich zawartość. System wykorzystuje wyuczony model, aby zapewnić wyniki wyszukiwania wideo odpowiednie do zapytania słów kluczowych w oparciu o funkcje znalezione w filmach. Ponadto system określa i prezentuje jedną lub więcej miniatur reprezentujących film przy użyciu wyuczonego modelu

Wyniki wyszukiwania filmów na wynos

Kiedy Google stosuje to podejście, zwraca uwagę na wszystkie sceny w filmie. Nawet długi film zawierający scenę wyścigu samochodowego może nie być opisany w metadanych towarzyszących filmowi. Patent mówi nam, że:

Na przykład, jeśli użytkownik wpisze zapytanie „wyścig samochodowy”, wyszukiwarka wideo może znaleźć i zwrócić scenę wyścigu samochodowego z filmu, nawet jeśli scena może być tylko krótką częścią filmu, która nie jest opisana w sekcji metadane tekstowe.

Proces opisany w tym patencie nie wymagałby od kogoś robienia niczego specjalnego lub innego. Oznaczałoby to po prostu, że Google może lepiej radzić sobie z zwracaniem filmów, które mogą zawierać treści, których może szukać osoba wyszukująca, na przykład scena wyścigów samochodowych z filmu.

W tym celu wyszukiwarka wideo może wybrać obraz miniatury lub zestaw obrazów miniatur do wyświetlenia z każdym pobranym wynikiem wyszukiwania.

Ten obraz miniatury może być ramką obrazu, która reprezentuje zawartość audiowizualną filmu wideo, a także odpowiada na zapytanie osoby wyszukującej. Może pomóc wyszukiwarce w określeniu trafności wyniku wyszukiwania.

Silnik adnotacji wideo może dodawać adnotacje do klatek lub scen wideo z bazy danych wideo za pomocą słów kluczowych związanych z treścią audiowizualną klatek lub scen i przechowuje te adnotacje w indeksie adnotacji wideo. Właśnie to zostałoby przeszukane, gdy osoba wyszukująca szukałaby wyniku.

Patent zawiera znacznie więcej szczegółów na temat indeksowania treści z filmu na podstawie słów kluczowych, które można wykorzystać do opisywania klatek z filmu.

Proces ten może oznaczać, że w odpowiedzi na zapytania wyszukiwarek mogą zostać zwrócone bardziej trafne filmy wideo na podstawie rzeczywistej treści tych filmów niż tylko metadane tekstowe towarzyszące filmowi.

Jeśli przesyłasz filmy do witryn takich jak YouTube, możesz przetestować wyszukiwarkę Google, aby sprawdzić, czy zwraca te filmy na podstawie czegoś więcej niż tylko metadanych towarzyszących tym filmom