有趣時刻的視頻拼貼

已發表: 2021-09-30

照片拼貼和視頻拼貼

我們可能會在與生成視頻的 Google 相關的硬件中看到視頻拼貼。谷歌照片具有拼貼功能，我可以訪問並查看來自確切位置的圖片拼貼，所有這些拼貼都連接在一起。有一種使用模式標記從視頻中標記“關鍵時刻”的方法，以便 Google 中的搜索結果可以指向視頻中的關鍵時刻（強烈推薦）。谷歌最近的一項專利描述了製作視頻拼貼畫，並提到了這些視頻中的“有趣時刻”。它沒有告訴我們一個視頻中的關鍵時刻與多個視頻的視頻拼貼中的有趣時刻之間的區別。

但它確實描述了為什麼它可以製作視頻拼貼：

目前有 10 億部智能手機在使用。未來有七倍的增長潛力。智能手機用於捕獲和消費內容，例如照片和視頻。視頻傳達的不僅僅是照片，因為它們捕捉了時間變化。但是，人們可能不太可能觀看視頻，因為並非視頻的所有部分都有趣。

該專利的背景描述介紹了該專利的上下文。

生成視頻拼貼

該專利指的是視頻中的有趣時刻，而不是視頻中的關鍵時刻。有很多關於標記視頻中關鍵時刻的幫助頁面，但沒有一個說它們指向有趣的時刻。但他們確實指出了發布這些視頻的人認為有趣的時刻。視頻拼貼專利確實佈局了一個框架，描述瞭如何構建視頻拼貼，充滿了有趣的時刻。

使用 Schema 在搜索結果中標記視頻中的關鍵時刻

當我看到這項專利時，我想起了 Google 開發人員關於實施 SeektoAction 標記的帖子：一種在搜索中啟用視頻關鍵時刻的新方法。簡而言之，它的工作原理如下：

今天，我們推出了一種新方法，讓您無需手動標記每個片段，即可為您網站上的視頻啟用關鍵時刻。您所要做的就是告訴 Google 用於跳轉到視頻中特定時間戳的 URL 模式。然後，谷歌將使用人工智能來識別視頻中的關鍵時刻，並在搜索結果中直接顯示這些時刻的鏈接。

我還記得有人問我關於 Youtube 視頻中的“關鍵時刻”的問題。有一篇關於此主題的 Google 博客文章：搜索可幫助您找到視頻中的關鍵時刻很快告訴我們的是：

從今天開始，在內容創作者的幫助下，您可以在視頻中找到關鍵時刻並更快地獲取所需信息。
當您搜索具有多個步驟的操作指南視頻或演講或紀錄片等長視頻時，搜索將根據內容創建者提供的時間戳提供指向視頻中關鍵時刻的鏈接。
您可以輕鬆掃描以查看視頻是否包含您要查找的內容並找到內容的相關部分。
對於使用屏幕閱讀器的人來說，此更改還使視頻內容更易於訪問。

這個谷歌開發者頁面告訴我們這些時間戳：使用模式標記在谷歌上獲取視頻

該專利的實施涉及一種生成拼貼畫的計算機實現方法。該方法包括確定視頻中的激動人心的時刻。該方法還包括基於激動人心的時刻生成視頻片段，其中每個視頻片段具有來自視頻的至少一個激動人心的時刻。該方法還包括從視頻片段生成拼貼畫，其中拼貼畫包括至少兩個窗口，每個窗口包含視頻片段之一。

我還看到了一篇關於視頻關鍵時刻的 Search Engine Land 文章，它告訴我們：谷歌正式為搜索視頻的關鍵時刻推出 SeekToAction

我還在 Youtube 上找到了這個關於觀眾保留的支持頁面：衡量觀眾保留的關鍵時刻

視頻中的關鍵時刻可能類似於視頻拼貼中的有趣時刻

該專利提供了許多有關有趣時刻的信息。

視頻拼貼專利的操作還包括接收拼貼中視頻片段的選擇並使視頻對應於該選擇被顯示。

確定視頻中的有趣時刻包括：

識別視頻中的音頻
引用與視頻中的音頻相關的動作類型
為視頻中的每種類型的音頻生成興趣分數
根據視頻中每種類型音頻的興趣得分確定有趣的時刻
決定視頻中的有趣時刻包括：
注意視頻中的動作
查找與視頻中的連續運動相關的動作類型
為視頻中的每種類型的動作創建興趣分數
根據視頻中每種動作的興趣得分定位有趣的時刻

拼貼中的視頻片段被配置為自動播放。拼貼中的視頻段的至少第一段被配置為以與拼貼中的其他視頻段不同的幀速率播放。

將來自視頻片段的視頻拼貼拼貼在一起包括生成圖形數據，以在不同大小的窗口中呈現具有視頻片段的拼貼畫。窗口可以基於視頻片段的興趣分數、每個視頻片段的長度和藝術效果來獲得。

製作有趣時刻的視頻拼貼

一種生成分層拼貼的計算機實現方法包括：

在視頻中尋找有趣的時刻
包括基於有趣時刻的視頻片段
將視頻片段分組
製作第一拼貼畫，每個拼貼畫分別對應一個群組，每個第一拼貼畫包括至少兩個視頻片段
從兩個或更多個第一拼貼畫中的每一個的至少兩個視頻片段中為每個組選擇一個代表性片段
顯示包括每個組的代表性片段的第二拼貼畫，其中第二拼貼畫中的代表性片段鏈接到對應的第一拼貼畫，該第一拼貼畫包括被包括在對應組中的至少兩個視頻片段
選擇第二張拼貼畫中的代表性片段，並顯示相應的第一張拼貼畫
將視頻片段分組是基於每個視頻片段的時間，或者將視頻片段分組是基於與每個視頻片段相關聯的有趣時刻的類型
得出有趣時刻的興趣分數並為每個組選擇代表
可能會根據興趣分數獲得

一種方法包括用於：

確定視頻中的有趣時刻
基於有趣時刻生成視頻片段，其中每個視頻片段包括視頻中的至少一個有趣時刻
從視頻片段創建拼貼畫，其中拼貼畫包括至少兩個窗口，其中每個窗口包括視頻片段之一

下面描述的系統和方法通過生成包括激動人心的時刻的視頻片段的拼貼來解決識別視頻中的激動人心的時刻的問題。

有趣時刻的視頻拼貼專利

Video Collages 專利位於：

視頻中有趣時刻的拼貼
發明人：Sharadh Ramaswamy、Matthias Grundmann 和 Kenneth Conley
受讓人：谷歌有限責任公司
美國專利：11,120,835
授予時間：2021 年 9 月 14 日
提交時間：2018 年 12 月 17 日

抽象的

一種計算機實現的方法包括確定視頻中的有趣時刻。該方法還包括基於有趣時刻生成視頻片段，其中每個片段包括來自視頻的至少一個有趣時刻。該方法進一步包括從視頻片段生成拼貼畫，其中拼貼畫包括至少兩個窗口並且其中每個窗口包括視頻片段之一。

該專利告訴我們，如果搜索者能夠預覽視頻中的有趣時刻並直接導航到視頻中的那些激動人心的時刻，他們就更有可能觀看視頻。

這裡描述了一個視頻應用程序：

在視頻中找到有趣的時刻
根據有趣的時刻構建視頻片段
從包含單個窗格中的視頻片段的視頻片段製作拼貼畫

例如，視頻可以有孩子笑的第一個視頻片段、狗追著孩子的第二個視頻片段和孩子吹生日蛋糕的第三個視頻片段。

如何生成視頻拼貼

視頻應用程序可以生成視頻拼貼畫，該拼貼畫顯示第一、第二和第三視頻段的短循環，例如，兩到三秒長。每個視頻片段的幀率可能不同。例如，第一視頻段可以包括慢動作視頻，第二視頻段可以包括快動作視頻，而第三視頻段可以包括常規速度視頻段。

當用戶選擇拼貼中的視頻片段之一時，應用程序可使與所選部分對應的視頻得到顯示。例如，如果第一個視頻片段出現在 2:03 分鐘，則用戶選擇會導致視頻在 2:03 分鐘播放。

視頻應用程序可以生成分層拼貼。視頻應用程序可以確定視頻中的精彩瞬間。然後它可能會根據激動人心的時刻創建視頻片段。
它可以將視頻片段分組並根據這些組生成第一張拼貼畫。然後它可以為每個組選擇一個代表性的作品，並生成第二個拼貼畫，其中包括每個組的常用片段。

組可以基於與每個視頻片段相關聯的時間或有趣時刻的類型而變得。繼續上面的例子，第一組可以包括孩子笑的第一個視頻片段，狗追著孩子的第二個視頻片段，以及孩子吹生日蛋糕的第三個視頻片段，所有這些都發生在視頻的前三分之一。

此視頻應用程序還可為每個視頻片段生成興趣分數並基於興趣分數選擇代表性片段。例如，吹出生日蛋糕的孩子的第三個視頻片段可以具有指示最有趣的視頻片段的興趣分數。結果，視頻應用可以選擇第三片段作為第一拼貼畫中的第一組的代表片段。

當用戶選擇第二張拼貼畫中的一個常用片段時，視頻應用程序可以使第一張拼貼畫被顯示。

生成視頻拼貼的示例應用程序

該專利是關於包括視頻服務器、用戶設備、第二台服務器和網絡的應用程序。看起來它可以使用各種硬件設備生成視頻拼貼畫，並且可能有意為未開發的硬件敞開大門。

用戶可以與相應的用戶設備相關聯。該方法可以包括其他服務器或設備。

系統的實體通過網絡耦合。網絡可以是傳統的：有線或無線，並且可以具有許多不同的配置，包括星形配置、令牌環配置或其他配置。此外，網絡可以包括局域網（LAN）、廣域網（WAN）（例如，互聯網）和許多設備可以通過其進行通信的其他互連數據路徑。

數據庫可以存儲由與用戶設備相關聯的用戶創建或上傳的視頻以及從視頻生成的拼貼。

數據庫可以存儲獨立於用戶設備開發的視頻。

數據庫還可存儲與用戶相關聯的社交網絡數據。

用戶設備可以是攝像頭、筆記本電腦、台式電腦、平板電腦、手機、可穿戴設備、頭戴式顯示器等具有內存和硬件處理器的計算機。硬件處理器還可以是移動電子郵件設備、便攜式遊戲機、便攜式音樂播放器、閱讀器設備、具有嵌入其中或與其耦合的處理器的電視、或能夠訪問網絡的其他電子設備。

用戶設備通過信號線連接到網絡。信號線可以是有線連接，例如以太網、同軸電纜、光纖電纜等，也可以是無線連接，例如Wi-Fi.RTM.、Bluetooth.RTM.或其他無線技術。用戶設備分別由用戶訪問。

用於創建視頻拼貼的用戶設備示例

用戶設備可以是包含在用戶佩戴的可穿戴設備中的移動設備。例如，用戶設備被包括為夾子的一部分（例如，腕帶）、珠寶的一部分或一副眼鏡的一部分。在另一個示例中，用戶設備可以是智能手錶。用戶可以在用戶佩戴的設備的顯示器上查看來自視頻應用程序的圖像。例如，用戶可以在智能手錶或智能腕帶顯示器上查看圖片。

視頻應用程序可以是存儲在用戶設備上的獨立應用程序。視頻應用可以部分地存儲在用戶設備和視頻服務器上。例如，視頻應用程序可以包括存儲在用戶設備a上的瘦客戶端視頻應用程序和存儲在視頻服務器上的視頻應用程序。

存儲在用戶設備上的視頻應用b可以記錄傳輸到存儲在視頻服務器上的視頻應用的視頻。從視頻中生成拼貼畫。視頻應用程序可以將拼貼畫發送到視頻應用程序以顯示在用戶設備上。在另一個示例中，存儲在用戶設備a上的視頻應用程序可以生成拼貼畫並將拼貼畫發送到存儲在視頻服務器上的視頻應用程序。存儲在視頻服務器上的視頻應用程序可以包括與存儲在用戶設備上的視頻應用程序相同的組件或不同的組件。

視頻應用程序可以是存儲在視頻服務器上的獨立應用程序。用戶可以使用瀏覽器或用戶設備上的其他軟件通過網頁訪問視頻應用程序。例如，用戶可以將存儲在設備上或從第二服務器上存儲的視頻上傳到視頻應用程序以生成拼貼畫。

第二服務器可以包括處理器、存儲器和網絡通信能力。第二台服務器是硬件服務器。第二服務器通過網絡向視頻服務器和用戶設備發送數據以及從視頻服務器和用戶設備接收數據。

第二服務器可以向視頻應用程序提供數據。例如，第二服務器可以是生成視頻應用程序用來創建拼貼畫的視頻的單獨服務器。在另一示例中，第二服務器可以是維護社交網絡的社交網絡服務器，其中拼貼可以由用戶與其他社交網絡用戶共享。在又一示例中，第二服務器可以包括分析視頻以識別對象、面部、事件、動作類型、文本等的視頻處理軟件。第二服務器可以與維護視頻服務器的同一公司或不同的公司。

附有實體信息的視頻拼貼

只要用戶同意使用這樣的數據，第二服務器就可以向視頻應用程序提供簡檔信息或圖像，視頻應用程序可以使用簡檔信息或圖像來識別具有相應社交網絡簡檔的照片中的人。在另一個示例中，第二服務器可以向視頻應用程序提供與在視頻應用程序使用的圖像中標識的實體相關的信息。

例如，第二服務器可以包括電子百科全書，其提供關於在照片中識別的地標的信息。該電子購物網站提供圖像中標識的購買實體的信息。該電子日曆應用程序在用戶同意的情況下提供與視頻關聯的事件名稱、提供有關與視頻關聯的位置信息的地圖應用程序等。

此處討論的系統和方法僅在收到相關用戶的明確授權後才收集、存儲和使用用戶個人信息。例如，用戶控制收集有關該特定用戶或其他用戶的用戶信息的程序或功能是否適用於該程序或部件。用戶持有與該用戶相關的信息，以及這些信息是否得到管理以及哪些信息被收集。

例如，用戶可以獲得控制選項。在存儲或用於刪除個人身份信息之前，特定數據可能會以某種方式進行處理。例如，用戶的身份可能會被處理以確定沒有個人身份信息。作為另一個例子，用戶的地理位置可能會被推廣到更大的區域，從而無法確定用戶的特定位置。

生成視頻拼貼的示例計算機

計算機可以是視頻服務器或用戶設備。

計算機可以包括處理器、存儲器、通信單元、顯示器和存儲設備。

視頻應用程序可能會存儲在內存中。

視頻應用包括視頻處理模塊、分割模塊、拼貼模塊和用戶界面模塊。其他模塊和配置也是可能的。

視頻處理模塊可用於確定視頻中的激動人心的時刻。視頻處理模塊可以是處理器可執行以決定視頻中的激動人心的時刻的一組指令。視頻處理模塊可以存儲在計算機的存儲器中並且可由處理器訪問和執行。

視頻處理模塊可以存儲在作為視頻服務器的設備上。視頻處理模塊可以從存儲在用戶設備上的視頻應用程序接收視頻。視頻處理模塊可以從存儲電影或電視節目的第二服務器接收視頻。

視頻處理模塊確定與用戶相關聯的視頻中的激動人心的時刻。視頻處理模塊可以根據標籤識別精彩瞬間，選擇有趣的瞬間。例如，用戶界面模塊可以生成用戶界面，該用戶界麵包括供用戶選擇幀的選項，例如，通過點擊視頻中的架子來識別有趣的時刻。視頻處理模塊可以將元數據與包括用戶放置的有趣時刻的時間位置的視頻相關聯。視頻處理模塊可以從用戶接收形成有趣時刻的標誌。例如，用戶可以指定有趣的時刻包括視頻中的人說特定短語或談論特定主題。

視頻處理尋找有趣的時刻

視頻處理模塊通過識別視頻中的音頻來確定有趣的時刻。視頻處理模塊可以確定視頻中的音頻類型。例如，視頻處理模塊可以對與音樂、掌聲、笑聲、噓聲等相關聯的音頻進行分類。視頻處理模塊可以確定音頻的音量水平。例如，在籃球比賽視頻中，歡呼聲和噓聲的聲音增加可能與有趣的時刻相關聯，例如籃球運動員錯過了一次投籃。

視頻處理模塊可以基於音頻類型為每種類型的運動生成興趣分數。例如，視頻處理模塊可以基於音樂或笑聲的開始來開髮指示時刻是有趣的興趣分數。視頻處理模塊可以基於咳嗽或一般背景噪聲生成表示該時刻不感興趣的興趣分數。視頻處理模塊可以根據視頻中每種類型的音頻的興趣得分來確定感興趣的時刻。

視頻處理模塊通過識別視頻中的持續運動和識別與視頻中的持續運動相關聯的動作類型來確定有趣的時刻。視頻處理模塊可以通過將圖像幀中的像素分類為背景或前景來確定活動。

視頻處理模塊可以對視頻的所有圖像幀或圖像幀的子集進行分類。

視頻處理模塊基於圖像幀的時序識別圖像幀子集中的背景和前景。該子集可以包括視頻的一些或全部幀內編碼結構（I幀）。例如，視頻處理模塊可以對視頻中的每三幀進行一次分類。在另一個示例中，視頻處理模塊可以對視頻中的幀的子集執行排序，例如僅 I 幀、I 幀和一些或所有預測的圖片幀（P 幀）等。

比較視頻片段中的前景運動

該視頻處理模塊可以比較許多視頻圖像幀中的前景以識別前景運動。例如，視頻處理模塊可以使用不同的技術來識別前景中的活動，例如幀差分、自適應中值濾波和背景減法。該過程有利地識別前景中對象的運動。例如，在一個人在外面做側手翻的視頻中，視頻處理模塊可能會忽略背景中的運動，例如在風中搖曳的樹木。仍然，視頻處理模塊識別執行側手翻的人，因為該人在前景中。

並且，視頻處理模塊可以分析視頻以確定與連續運動相關聯的動作。例如，視頻處理模塊可以使用基於連續運動的矢量來比較可用視頻中的恆定運動和連續運動。視頻處理模塊可以使用向量 t，識別一個人遛狗、打另一個人、抓魚等。在另一個例子中，視頻處理模塊可以執行圖像識別來識別對象和與事物相關聯的運動類型在其他過去的視頻中識別動作。

例如，視頻處理模塊識別蹦床。它基於蹦床與跳躍相關聯、蛋糕與切或吹出生日蛋糕相關聯、滑雪板與滑雪相關聯等來確定人在蹦床上跳躍。視頻處理模塊可以將元數據與視頻相關聯。包括每個動作類型的時間戳。例如，視頻處理模塊可以生成元數據，該元數據標識視頻中的人乘坐小型摩托車的每個實例的時間戳。

基於視頻中連續運動的有趣時刻

此外，視頻處理模塊可以基於與連續運動相關聯的動作來確定有趣的時刻。例如，視頻處理模塊可以確定視頻包括用戶騎滑板。視頻處理模塊根據動作類型生成興趣分數。視頻處理模塊可以開發對應於滑板動作的興趣分數。視頻處理模塊可以基於動作的質量分配興趣分數。例如，視頻處理模塊可以給出一個興趣分數，表明當具有運動的幀顯示時更有趣的時刻：

一個有明顯面孔的人
圖像質量高的邊緣

這些將基於動作的可見性、照明、模糊、視頻的穩定性。

在用戶同意的情況下，視頻處理模塊可以基於用戶偏好生成興趣分數。例如，如果用戶表達了對滑板的興趣，則視頻處理模塊生成指示用戶發現滑板令人愉快的興趣分數。用戶提供視頻處理模塊添加到與用戶相關聯的用戶簡檔的明確興趣。當用戶同意隱性行為的分析時，視頻處理模塊基於隱性行為確定要添加到用戶簡檔的動作類型，例如提供對與活動類型相關聯的媒體的批准指示。

視頻拼貼中對象的對象識別

視頻處理模塊可執行對象識別以識別視頻中的對象。在用戶同意後，視頻處理模塊可以執行對象識別，包括識別視頻中的人臉和確定人臉的身份。視頻處理模塊可以將人臉的圖像幀與人的圖像進行比較，將圖像幀傳遞給使用視頻應用程序的其他成員等。在用戶同意的情況下，視頻處理模塊可以向第二服務器請求識別信息。

例如，第二服務器可以維護社交網絡。視頻處理模塊可以請求連接到與視頻相關聯的用戶的個人資料圖像或其他社交網絡用戶。在用戶同意的情況下，視頻處理模塊可以對視頻的圖像幀中的人使用面部識別技術來識別與面部相關的人。

視頻處理模塊可以生成元數據，該元數據包括識別對象和事物出現在視頻中的時間戳。例如，元數據可能由標識對像或人的類型的標籤組成。如果用戶已同意，則視頻處理模塊可以生成元數據，其中包括識別人員和人員出現在視頻中的時間戳。例如，對於用戶女兒的視頻，視頻處理模塊可以生成元數據，該元數據標識女兒每次出現在視頻中的時間和時間戳，並標識女兒在視頻內與之交互的對象。

視頻處理模塊生成興趣分數以識別視頻中的對像或人物的類型。視頻處理模塊可以將各種對象與正面事物列表和有害對象列表進行比較，這些對象包括分別被普遍認為是正面和負面的對象。

當用戶同意用戶數據時，視頻處理模塊根據與視頻相關聯的用戶的個性化信息分配興趣分數。例如，在用戶同意時，視頻處理模塊維護社交圖並基於使用社交圖識別的用戶和視頻中的人之間的關係來生成興趣分數。

個性化和用戶對視頻的反應

視頻處理模塊可以根據用戶提供的詳細數據、在用戶對視頻的反應中發現的隱含信息，如視頻網站上提供的評論、社交網絡應用程序中的活動等，確定個性化信息，但需徵得用戶同意。視頻處理模塊根據與用戶相關聯的視頻類型確定用戶偏好。例如，視頻處理模塊可以基於用戶創建或觀看包括不同類型的運動（例如棒球、籃球等）的視頻來確定用戶更喜歡關於運動的視頻。

視頻處理模塊可以確定與視頻相關聯的事件。視頻處理模塊可以基於與視頻相關聯的元數據來確定事件。例如，元數據可以包括與視頻相關聯的日期和位置。視頻處理模塊可以使用日期和位置來例如從第二服務器檢索關於在該日期和時間發生什麼事件的信息。當用戶同意元數據時，視頻處理模塊可以使用識別視頻中的對象和人物的元數據來確定事件。

例如，視頻處理模塊可以基於識別視頻中的人群來確定事件是音樂會。特定對象可能與特定情況相關聯。例如，蛋糕與生日和婚禮有關。籃球與球場等有關。在另一個例子中，人們可能與事件有關，例如人們在上課時間穿著特定情況的製服，人們坐在教堂聚會的長椅上，人們圍著桌子拿著盤子吃晚餐，等等。視頻處理模塊可以基於在視頻中識別的事件類型來生成激動人心的分數。

視頻處理模塊可以使用更多的數據源來識別事件。例如，視頻處理模塊可以基於與視頻相關聯的元數據確定拍攝視頻的日期、時間和位置，並且在用戶同意的情況下，從日曆應用程序請求與數據和時間相關聯的事件信息與用戶相關聯。視頻處理模塊可以從管理日曆應用的第二服務器請求事件信息。

根據公開信息確定的視頻事件

視頻處理模塊可以根據公開可用的信息確定事件。例如，視頻處理模塊可以使用與視頻相關聯的日期、時間和位置來確定視頻來自足球比賽。視頻處理模塊可以將元數據與包括事件的識別信息的視頻相關聯。

視頻處理模塊可以將音頻轉錄為文本並基於閱讀器識別有趣的時刻。視頻處理模塊可以生成元數據，該元數據標識用戶說出特定單詞的每個實例的時間戳。例如，如果視頻來自在雲計算會議上發表的演講，視頻處理模塊可以識別演講者所說“未來”的每個位置的時間戳。視頻處理模塊可以使用音頻作為有趣時刻的標誌。例如，對於體育賽事或其他比賽，視頻處理模塊可以識別人群何時開始歡呼並確定在歡呼之前發生的連續運動，包括有趣的時刻。

視頻處理模塊可以確定興趣分數是否滿足或超過閾值分割值。假設視頻的一部分包括滿足或超過閾值分割值的興趣分數。在那種情況下，視頻處理模塊可以指示分割模塊生成由有趣時刻組成的視頻片段。未能達到或超過閾值分割值的視頻部分可能不會被識別為包括有趣的時刻。

有關潛在視頻片段的興趣得分的更多信息

The video processing module may apply interest scores on a scale, such as from 1 to 10. The interest score may get based on a combination of factors identified in the partn of the video. For example, the video processing module may generate an interest score based on the part of the video, including an event, an object, and a person.

The video processing module may receive feedback from a user and change the user profile to modify the interest score accordingly. For example, if a user provides a sign of approval (eg, a thumbs up, a +1, a like, saving a collage to the user's media library, etc.) of a collage that includes a video on new types of wearables, the video processing module may add wearables in a list of positive objects.

In another example, the user may explicitly state that the user enjoys collages where the event type is a rock show. The video processing module may update personalization information associated with the user, such as a user profile, to include the rock show as a preferred event type. The feedback consists of an indication of disapproval (a thumbs down, a -1, a dislike, etc.). The expressions of approval and disapproval get determined based on comments provided by a user. The feedback includes identifying a person, an object, or a type of event that someone wants to get included in the collage.

The segmentation module may be operable to segment the video into video segments based on interesting moments. This segmentation module may be a set of instructions executable by the processor to feature the video. It may get stored in the computer's memory and can be accessible and executable by the processor.

Segmentation to Find Interesting Moments For Video Collages

And, the segmentation module generates video segments that include interesting moments. Where the interesting moment is associated with continual motion, the segmentation module may create a video segment with a beginning and an end. The segmentation module may identify a start and an intermediate endpoint of continual motion within the piece and pick a sub-segment that includes both these points. For example, if the video is of a girl doing many cartwheels, the start point may be the start of a first cartwheel, and the intermediate endpoint may be the end of the first cartwheel. In another example, the segmentation module may identify a segment based on different types of motion.

For example, a first sub-segment maybe a cartwheel, and a second subsegment may be a jumping celebration. Next, may determine how to generate the segment by including at least a particular number of interesting moments. For example, the segmentation module may create a video segment with a first interesting moment with a specific object in the first frames. It may show a second interesting moment with continual motion in a group of double frames and a third interesting moment that includes a person in a third frame. Also, the segmentation module may generate a video segment that is one to three seconds long.

The segmentation module may generate a video segment that includes many frames at different periods in the video. For example, the segmentation module may create a video segment that provides for many instances where people at a conference say “cloud computing” at different periods in the video.

The segmentation module generates video segments based on a theme. When a user specifies that interesting moments include a type of action, the segmentation module generates a video segment that consists of the interesting moments identified by the video processing module. For example, the segmentation module may show a video segment where a person rides a scooter in the video. The segmentation module may select many action instances to include in the video segment based on the interesting scores.

Ranking Interesting Moments To Choose For Video Collages

The segmentation module may rank the interesting moments based on their corresponding interesting scores and select many of the interesting moments based on the length of the video segment, such as three seconds, five seconds, twenty seconds, etc. For example, the segmentation module may select the top five most interesting moments based on the ranking because the total length of the five most interesting moments is under 20 seconds.

The segmentation module may determine markers that state different sections within the video and generate segments that include interesting moments within the units.

The sections may include:

Different acts or scenes in a movie
Different news segments in a news reporting show
Different videos in a show about people filming dangerous stunts on video
等等。

For example, the segmentation module may generate three video segments for a movie. The three segments represent the three acts in the film, and each segment includes interesting moments cut from the corresponding act. The markers may consist of metadata stating each section's start and end, black frames, white frames, a title card, a chapter card, etc.

The segmentation module verifies that the video segments are different from each other. For example, the segmentation module may determine that each video segment includes different objects, so the collage does not include video segments that look too similar.

The collage module may be operable to generate a collage from the video segments. The collage module can be a set of instructions executable by the processor to provide the functionality described below for generating the collage. The collage module can become stored in the computer's memory and accessible and executable by the processor.

The collage module receives video segments from the segmentation module. The collage module may retrieve the selected video segments from the storage device.

Generating Video Collages From Video Segments

The collage module may generate a collage from the video segments where the video segments get displayed in a single pane. The video collages may take many forms. For example, the collage module may generate video collages when at least two video segments are available. In another example, the collage module may create video collages when at least four video segments are available. The video segments may be displayed in square windows, in portrait windows (eg, if the video segment gets shot in portrait mode), in a landscape window (eg, if the video gets shot in landscape mode), and with different aspect ratios (eg, 16:9, 4:3, etc.).

The collage module may configure the aspect ratios and orientations based on the user device used to view the collage. For example, the collage module may use a 16:9 aspect ratio for high-definition televisions, a 1:1 aspect ratio for square displays or viewing areas, a portrait collage for a user device in a portrait orientation, and a vast collage (eg, 100:9) for wearables such as augmented reality and virtual reality displays.

The collage module may combine a predetermined number of video segments to form the collage. For example, the collage module may rank the video segments from most attractive to least interesting based on the interest scores and generate a collage based on the predetermined number of video segments that are the most interesting. The collage module may select video segments with interest scores that meet or exceed a predetermined collage value.

The collage module processes the video segments. For example, the collage module may convert the video segments to high dynamic range (HDR), black and white, sepia, etc.

The Layout and Ordering of Video Segments Based O Chronology

The collage module may layout and order the video segments based on chronology, interest scores, visual similarity, color similarity, and the length of time of each piece. Ordering the collage based on chronology may include the first video segment corresponding to the earliest time, the second video segment corresponding to the earliest time, etc. The collage module may order the video segments based on the interest scores by ranking the video segments from most attractive to least interesting based on the interest scores and order the collage based on the ranking. The collage module may arrange the video segments in a clockwise direction, counterclockwise guidance, or an arbitrary direction. Other configurations are possible.

The collage module generates instructions for the user interface module to create graphical data that renders the collage with video segments in windows of different sizes. The size of the windows may get based on interest scores for each of the video segments. For example, the video segment with an interest score that indicates that it is most interesting may have the largest window size.

Additionally, the size of the windows may get based on the length of the video segments. For example, the shortest video segment may correspond to the smallest window size. The collage module may determine window size based on an artistic effect. For example, the collage module may generate windows that resemble creative works from the De Stijl art movement. In particular, the collage module may create a collage with shapes that resemble a Piet Mondrian painting with different sized boxes and different line thicknesses that distinguish the separation between different video segments.

The collage module generates a collage that is a video file (eg, an animated GIF, an MPG, etc.) with associated code (eg, JavaScript) that recognizes user selection (eg, to move to the second collage in a hierarchy, to playback a specific segment, etc.). The collage module may link the video segments to a location in the video. Upon selecting one of the video segments, the video gets displayed in the video that corresponds to the piece. For example, each video segment in the collage may include a hyperlink to the corresponding location in the video.

Generating Video Collages by Meeting a Threshold Score

The collage module generates and displays a collage by determining video segments that meet a threshold score. It may evaluate display characteristics for the collage and identify window layouts that meet the display characteristics. It can also select a particular window layout, generate the collage, and cause the collage to get displayed.

A graphic representation gets illustrated. The graphical representation includes an example timeline of a video and a corresponding collage 310 generated from four interesting moments. The timeline represents an eight-minute video. The eight-minute video may be an ice skating competition where four different ice skating couples each have a two-minute demonstration. The video processing module identified four interesting moments labeled A, B, C, and D in this example.

The segmentation module generates four video segments where each video segment includes a corresponding interesting moment.

Interesting moment A may include a first couple executing a sustained edge step.

The interesting moment B may consist of a second couple where one of the skaters runs a triple axel jump.

The interesting moment C may include a third couple executing the sustained edge step.

And the interesting moment D may consist of a fourth couple executing a serpentine step sequence.

The video processing module may determine the interesting moments based on a user identifying the interesting moments, identifying continual motion, for example, a motion that occurs before the crowd starts cheering, or another technique.

The collage module generates a collage from the video segments. In this example, the collage module generates a collage that orders the video segments chronologically in a clockwise direction. Suppose a user selects one of the video segments.

The user interface module may cause the video to get displayed at the location in the video that corresponds to the time of the video segment.

For example, in the example depicted, if a user selects video segment D, a new window may appear that displays the video at the D location illustrated on the timeline near the end of the video.

A Graphic Representation of Another Example Video Collage

In this example, the collage includes 19 video segments. The collage module may generate the different sized windows for the collage based on the interest scores for each video segment and the length of the video segments. For example, a figure may represent a collage generated from a video of a news program. Video segment A may represent the feature news story for the news program, which is both the most interesting and the longest. As a result, video segment A gets described with the largest window. Video segments B, C, and H, represent other less interesting and shorter news segments. Lastly, video segments D, E, F, and G represent short snippets in the news program.

The collage module generates a hierarchical collage. Hierarchical collages may be helpful to, for example, present a limited number of video segments in a single window. Besides, the hierarchical collage may create an entertaining effect that helps users stay more engaged when so many video segments appear too crowded. The collage module may group the video segments based on the timing of the video segments or a type of interesting moment associated with the video segments.

The collage module may generate the first collages based on the groups. For example, the collage module may divide a video into three parts and develop the first collages for each video segment in the first, second, and last. In another example, a video may include tryouts and competitions. The collage module may group based on the type of interesting moment by distinguishing between tryouts and competitions.

The collage module may generate two first collages, one first collage for the video segments in the tryouts and one second for the video segments in the competitions. The representative segment may be the most extended video segment for a group. The representative segment may be a segment that includes a high amount of continual motion compared with other elements in the group. A combination of interest score, segment length, amount of continual movement, etc., may get used to select the representative segment.

The collage module may select a representative segment from the video segments associated with the first collages. The usual component may get based on the interest score for each of the video segments in the group. For example, continuing with the above example of a group of tryouts and a group of competitions, the collage module may select the most interesting tryout video segment to represent the tryout group's representative segment.

The collage module may generate a second collage that includes the representative segment for each of the groups. The standard components link to each of the corresponding first collages such that the selection of one of the usual segments causes the related first collage to be visible. The collage module may instruct the user interface module to generate graphical data that drives the second collage to open to display the corresponding first collage, replace the second collage with the first collage, or to causes all the first collages to get displayed.

The collage module configures the video segments in the collage to play automatically. Or additionally, the collages may have to get selected to play. The video segments may play at once or sequentially such that a first video segment plays, then a second video segment plays, etc. The video segments may play once or become configured to play on a continuous loop. A user may be able to configure automatic playback or other options as system settings.

The collage module configures the video segments to play at different frame rates. For example, video segment A may play at the standard speed of 24 FPS (frames per second), video segment B may play at a slower pace of 16 FPS, video segment C may play at a faster speed of 50 FPS, and video segment D may play at 24 FPS. The collage module selects the frame rate based on the content of the video segment. For example, the collage module may determine a slow frame rate for video segments when the rate of continual motion in the video segment is high, such as a video segment of a pitcher throwing a baseball. The collage module may select a faster frame rate when the rate of continual motion in part is low, such as a video segment of a person blowing out a candle or cutting a cake.

An Example Timeline And Hierarchical Video Collages

For example, the timeline represents a video of a meeting that includes presenters giving talks, attendees forming discussion groups, and closing remarks becoming presented. The collage module groups the video segments into three groups: group A represents a section where presenters talk, group B represents a section where people form discussion groups, and group C describes closing remarks.

拼貼模塊生成兩個第一拼貼：一個用於A組，包括四個視頻片段，一個用於B組，提供三個視頻片段。拼貼模塊生成第二拼貼，其中包括兩個第一拼貼的代表性細節和組 C 的視頻片段。第二拼貼可以由來自每個組的 A、B 和 C 的常用組件組成。

假設用戶選擇A組的代表性片段。在這種情況下，用戶界面模塊使用戶界面顯示A組的第一拼貼畫，其包括視頻片段A1、A2、A3和A4。如果用戶選擇視頻片段A3，則使用戶界面在時間軸中與A3對應的位置顯示視頻。

用戶界面模塊可用於向用戶提供信息。該用戶界面模塊可以是處理器可執行的一組指令，以提供下面描述的用於向用戶提供信息的功能。用戶界面模塊可以存儲在計算機的存儲器中並且可由處理器訪問和執行。

用戶界面模塊可以從視頻應用中的其他模塊接收指令以生成可操作以顯示用戶界面的圖形數據。例如，用戶界面模塊可以創建顯示由拼貼模塊創建的拼貼的用戶界面。

用戶界面模塊可以生成圖形數據以顯示鏈接到完整視頻的拼貼畫。對用戶點擊拼貼的用戶界面的響應可以顯示原始視頻或導致打開包括完整視頻的新網頁。用戶界面模塊提供將拼貼下載到用戶設備或從視頻服務器流式傳輸拼貼的選項。

用戶界面模塊可以為用戶生成選項以提供關於拼貼畫的反饋。例如，用戶界面模塊可以創建包括反饋按鈕的用戶界面，用戶可以選擇該反饋按鈕來查看包含用戶想要添加為明確興趣的對象的下拉菜單。用戶界面模塊可以基於與用於創建用戶可以選擇作為明確興趣的對象列表的視頻片段相關聯的標籤來提供事物。

包含 Vdeos 部分的用戶界面的圖形表示

在視頻部分，用戶界面模塊可以從用戶接收有趣時刻的指定。在該示例中，用戶界面模塊包括通知用戶用戶可以通過點擊視頻來識別有趣時刻的指令。作為用戶選擇的結果，視頻片段模塊生成包括有趣時刻的片段。拼貼模塊生成由視頻片段組成的拼貼。

Figure 還包括一個由拼貼畫組成的拼貼畫部分。在該示例中，用戶選擇回放按鈕之一來觀看相應的視頻片段。用戶界面還包括一個選項，用於在 +1 按鈕和允許用戶共享拼貼畫的共享按鈕中指示視頻的批准。例如，用戶界面模塊可以生成用於通過社交網絡、使用電子郵件、通過聊天應用程序等共享拼貼畫的選項。

生成視頻拼貼的示例方法

有趣的時刻在視頻中確定。例如，用戶識別基於連續運動、視頻中的對像等選擇的有趣時刻。基於有趣時刻生成視頻片段，其中每個視頻片段包括來自視頻的至少一個有趣時刻. 從視頻片段生成拼貼畫，其中拼貼畫由至少兩個窗口組成，每個窗口包含一個視頻片段。

生成分層視頻拼貼

這些步驟可由視頻應用程序執行。

視頻拼貼是根據有趣的時刻創建的。

有趣的時刻在視頻中確定。

視頻片段被分組。

生成兩個或更多個第一視頻拼貼畫，每個拼貼畫對應於兩個或更多個組中的一個。每個第一視頻拼貼包括至少兩個視頻片段。從每個第一拼貼畫的至少兩個視頻片段中為每個組選擇一個代表性組件。生成第二個拼貼畫，其中包括每個組的常用片段。第二拼貼鏈接到在相關組中提供至少兩個視頻片段的對應第一拼貼。