有趣时刻的视频拼贴

已发表: 2021-09-30

照片拼贴和视频拼贴

我们可能会在与生成视频的 Google 相关的硬件中看到视频拼贴。谷歌照片具有拼贴功能，我可以访问并查看来自确切位置的图片拼贴，所有这些拼贴都连接在一起。有一种使用模式标记从视频中标记“关键时刻”的方法，以便 Google 中的搜索结果可以指向视频中的关键时刻（强烈推荐）。谷歌最近的一项专利描述了制作视频拼贴画，并提到了这些视频中的“有趣时刻”。它没有告诉我们一个视频中的关键时刻与多个视频的视频拼贴中的有趣时刻之间的区别。

但它确实描述了为什么它可以制作视频拼贴：

目前有 10 亿部智能手机在使用。未来有七倍的增长潜力。智能手机用于捕获和消费内容，例如照片和视频。视频传达的不仅仅是照片，因为它们捕捉了时间变化。但是，人们可能不太可能观看视频，因为并非视频的所有部分都有趣。

该专利的背景描述介绍了该专利的上下文。

生成视频拼贴

该专利指的是视频中的有趣时刻，而不是视频中的关键时刻。有很多关于标记视频中关键时刻的帮助页面，但没有一个说它们指向有趣的时刻。但他们确实指出了发布这些视频的人认为有趣的时刻。视频拼贴专利确实布局了一个框架，描述了如何构建视频拼贴，充满了有趣的时刻。

使用 Schema 在搜索结果中标记视频中的关键时刻

当我看到这项专利时，我想起了 Google 开发人员关于实施 SeektoAction 标记的帖子：一种在搜索中启用视频关键时刻的新方法。简而言之，它的工作原理如下：

今天，我们推出了一种新方法，让您无需手动标记每个片段，即可为您网站上的视频启用关键时刻。您所要做的就是告诉 Google 用于跳转到视频中特定时间戳的 URL 模式。然后，谷歌将使用人工智能来识别视频中的关键时刻，并在搜索结果中直接显示这些时刻的链接。

我还记得有人问我关于 Youtube 视频中的“关键时刻”的问题。有一篇关于此主题的 Google 博客文章：搜索可帮助您找到视频中的关键时刻很快告诉我们的是：

从今天开始，在内容创作者的帮助下，您可以在视频中找到关键时刻并更快地获取所需信息。
当您搜索具有多个步骤的操作指南视频或演讲或纪录片等长视频时，搜索将根据内容创建者提供的时间戳提供指向视频中关键时刻的链接。
您可以轻松扫描以查看视频是否包含您要查找的内容并找到内容的相关部分。
对于使用屏幕阅读器的人来说，此更改还使视频内容更易于访问。

这个谷歌开发者页面告诉我们这些时间戳：使用模式标记在谷歌上获取视频

该专利的实施涉及一种生成拼贴画的计算机实现方法。该方法包括确定视频中的激动人心的时刻。该方法还包括基于激动人心的时刻生成视频片段，其中每个视频片段具有来自视频的至少一个激动人心的时刻。该方法还包括从视频片段生成拼贴画，其中拼贴画包括至少两个窗口，每个窗口包含视频片段之一。

我还看到了一篇关于视频关键时刻的 Search Engine Land 文章，它告诉我们：谷歌正式为搜索视频的关键时刻推出 SeekToAction

我还在 Youtube 上找到了这个关于观众保留的支持页面：衡量观众保留的关键时刻

视频中的关键时刻可能类似于视频拼贴中的有趣时刻

该专利提供了许多有关有趣时刻的信息。

视频拼贴专利的操作还包括接收拼贴中视频片段的选择并使视频对应于该选择被显示。

确定视频中的有趣时刻包括：

识别视频中的音频
引用与视频中的音频相关的动作类型
为视频中的每种类型的音频生成兴趣分数
根据视频中每种类型音频的兴趣得分确定有趣的时刻
决定视频中的有趣时刻包括：
注意视频中的动作
查找与视频中的连续运动相关的动作类型
为视频中的每种类型的动作创建兴趣分数
根据视频中每种动作的兴趣得分定位有趣的时刻

拼贴中的视频片段被配置为自动播放。拼贴中的视频段的至少第一段被配置为以与拼贴中的其他视频段不同的帧速率播放。

将来自视频片段的视频拼贴拼贴在一起包括生成图形数据，以在不同大小的窗口中呈现具有视频片段的拼贴画。窗口可以基于视频片段的兴趣分数、每个视频片段的长度和艺术效果来获得。

制作有趣时刻的视频拼贴

一种生成分层拼贴的计算机实现方法包括：

在视频中寻找有趣的时刻
包括基于有趣时刻的视频片段
将视频片段分组
制作第一拼贴画，每个拼贴画分别对应一个群组，每个第一拼贴画包括至少两个视频片段
从两个或更多个第一拼贴画中的每一个的至少两个视频片段中为每个组选择一个代表性片段
显示包括每个组的代表性片段的第二拼贴画，其中第二拼贴画中的代表性片段链接到对应的第一拼贴画，该第一拼贴画包括被包括在对应组中的至少两个视频片段
选择第二张拼贴画中的代表性片段，并显示相应的第一张拼贴画
将视频片段分组是基于每个视频片段的时间，或者将视频片段分组是基于与每个视频片段相关联的有趣时刻的类型
得出有趣时刻的兴趣分数并为每个组选择代表
可能会根据兴趣分数获得

一种方法包括用于：

确定视频中的有趣时刻
基于有趣时刻生成视频片段，其中每个视频片段包括视频中的至少一个有趣时刻
从视频片段创建拼贴画，其中拼贴画包括至少两个窗口，其中每个窗口包括视频片段之一

下面描述的系统和方法通过生成包括激动人心的时刻的视频片段的拼贴来解决识别视频中的激动人心的时刻的问题。

有趣时刻的视频拼贴专利

Video Collages 专利位于：

视频中有趣时刻的拼贴
发明人：Sharadh Ramaswamy、Matthias Grundmann 和 Kenneth Conley
受让人：谷歌有限责任公司
美国专利：11,120,835
授予时间：2021 年 9 月 14 日
提交时间：2018 年 12 月 17 日

抽象的

一种计算机实现的方法包括确定视频中的有趣时刻。该方法还包括基于有趣时刻生成视频片段，其中每个片段包括来自视频的至少一个有趣时刻。该方法进一步包括从视频片段生成拼贴画，其中拼贴画包括至少两个窗口并且其中每个窗口包括视频片段之一。

该专利告诉我们，如果搜索者能够预览视频中的有趣时刻并直接导航到视频中的那些激动人心的时刻，他们就更有可能观看视频。

这里描述了一个视频应用程序：

在视频中找到有趣的时刻
根据有趣的时刻构建视频片段
从包含单个窗格中的视频片段的视频片段制作拼贴画

例如，视频可以有孩子笑的第一个视频片段、狗追着孩子的第二个视频片段和孩子吹生日蛋糕的第三个视频片段。

如何生成视频拼贴

视频应用程序可以生成视频拼贴画，该拼贴画显示第一、第二和第三视频段的短循环，例如，两到三秒长。每个视频片段的帧率可能不同。例如，第一视频段可以包括慢动作视频，第二视频段可以包括快动作视频，而第三视频段可以包括常规速度视频段。

当用户选择拼贴中的视频片段之一时，应用程序可使与所选部分对应的视频得到显示。例如，如果第一个视频片段出现在 2:03 分钟，则用户选择会导致视频在 2:03 分钟播放。

视频应用程序可以生成分层拼贴。视频应用程序可以确定视频中的精彩瞬间。然后它可能会根据激动人心的时刻创建视频片段。
它可以将视频片段分组并根据这些组生成第一张拼贴画。然后它可以为每个组选择一个代表性的作品，并生成第二个拼贴画，其中包括每个组的常用片段。

组可以基于与每个视频片段相关联的时间或有趣时刻的类型而变得。继续上面的例子，第一组可以包括孩子笑的第一个视频片段，狗追着孩子的第二个视频片段，以及孩子吹生日蛋糕的第三个视频片段，所有这些都发生在视频的前三分之一。

此视频应用程序还可为每个视频片段生成兴趣分数并基于兴趣分数选择代表性片段。例如，吹出生日蛋糕的孩子的第三个视频片段可以具有指示最有趣的视频片段的兴趣分数。结果，视频应用可以选择第三片段作为第一拼贴画中的第一组的代表片段。

当用户选择第二张拼贴画中的一个常用片段时，视频应用程序可以使第一张拼贴画被显示。

生成视频拼贴的示例应用程序

该专利是关于包括视频服务器、用户设备、第二台服务器和网络的应用程序。看起来它可以使用各种硬件设备生成视频拼贴画，并且可能有意为未开发的硬件敞开大门。

用户可以与相应的用户设备相关联。该方法可以包括其他服务器或设备。

系统的实体通过网络耦合。网络可以是传统的：有线或无线，并且可以具有许多不同的配置，包括星形配置、令牌环配置或其他配置。此外，网络可以包括局域网（LAN）、广域网（WAN）（例如，互联网）和许多设备可以通过其进行通信的其他互连数据路径。

数据库可以存储由与用户设备相关联的用户创建或上传的视频以及从视频生成的拼贴。

数据库可以存储独立于用户设备开发的视频。

数据库还可存储与用户相关联的社交网络数据。

用户设备可以是摄像头、笔记本电脑、台式电脑、平板电脑、手机、可穿戴设备、头戴式显示器等具有内存和硬件处理器的计算机。硬件处理器还可以是移动电子邮件设备、便携式游戏机、便携式音乐播放器、阅读器设备、具有嵌入其中或与其耦合的处理器的电视、或能够访问网络的其他电子设备。

用户设备通过信号线连接到网络。信号线可以是有线连接，例如以太网、同轴电缆、光纤电缆等，也可以是无线连接，例如Wi-Fi.RTM.、Bluetooth.RTM.或其他无线技术。用户设备分别由用户访问。

用于创建视频拼贴的用户设备示例

用户设备可以是包含在用户佩戴的可穿戴设备中的移动设备。例如，用户设备被包括为夹子的一部分（例如，腕带）、珠宝的一部分或一副眼镜的一部分。在另一个示例中，用户设备可以是智能手表。用户可以在用户佩戴的设备的显示器上查看来自视频应用程序的图像。例如，用户可以在智能手表或智能腕带显示器上查看图片。

视频应用程序可以是存储在用户设备上的独立应用程序。视频应用可以部分地存储在用户设备和视频服务器上。例如，视频应用程序可以包括存储在用户设备a上的瘦客户端视频应用程序和存储在视频服务器上的视频应用程序。

存储在用户设备上的视频应用b可以记录传输到存储在视频服务器上的视频应用的视频。从视频中生成拼贴画。视频应用程序可以将拼贴画发送到视频应用程序以显示在用户设备上。在另一个示例中，存储在用户设备a上的视频应用程序可以生成拼贴画并将拼贴画发送到存储在视频服务器上的视频应用程序。存储在视频服务器上的视频应用程序可以包括与存储在用户设备上的视频应用程序相同的组件或不同的组件。

视频应用程序可以是存储在视频服务器上的独立应用程序。用户可以使用浏览器或用户设备上的其他软件通过网页访问视频应用程序。例如，用户可以将存储在设备上或从第二服务器上存储的视频上传到视频应用程序以生成拼贴画。

第二服务器可以包括处理器、存储器和网络通信能力。第二台服务器是硬件服务器。第二服务器通过网络向视频服务器和用户设备发送数据以及从视频服务器和用户设备接收数据。

第二服务器可以向视频应用程序提供数据。例如，第二服务器可以是生成视频应用程序用来创建拼贴画的视频的单独服务器。在另一示例中，第二服务器可以是维护社交网络的社交网络服务器，其中拼贴可以由用户与其他社交网络用户共享。在又一示例中，第二服务器可以包括分析视频以识别对象、面部、事件、动作类型、文本等的视频处理软件。第二服务器可以与维护视频服务器的同一公司或不同的公司。

附有实体信息的视频拼贴

只要用户同意使用这样的数据，第二服务器就可以向视频应用程序提供简档信息或图像，视频应用程序可以使用简档信息或图像来识别具有相应社交网络简档的照片中的人。在另一个示例中，第二服务器可以向视频应用程序提供与在视频应用程序使用的图像中标识的实体相关的信息。

例如，第二服务器可以包括电子百科全书，其提供关于在照片中识别的地标的信息。该电子购物网站提供图像中标识的购买实体的信息。该电子日历应用程序在用户同意的情况下提供与视频关联的事件名称、提供有关与视频关联的位置信息的地图应用程序等。

此处讨论的系统和方法仅在收到相关用户的明确授权后才收集、存储和使用用户个人信息。例如，用户控制收集有关该特定用户或其他用户的用户信息的程序或功能是否适用于该程序或部件。用户持有与该用户相关的信息，以及这些信息是否得到管理以及哪些信息被收集。

例如，用户可以获得控制选项。在存储或用于删除个人身份信息之前，特定数据可能会以某种方式进行处理。例如，用户的身份可能会被处理以确定没有个人身份信息。作为另一个例子，用户的地理位置可能会被推广到更大的区域，从而无法确定用户的特定位置。

生成视频拼贴的示例计算机

计算机可以是视频服务器或用户设备。

计算机可以包括处理器、存储器、通信单元、显示器和存储设备。

视频应用程序可能会存储在内存中。

视频应用包括视频处理模块、分割模块、拼贴模块和用户界面模块。其他模块和配置也是可能的。

视频处理模块可用于确定视频中的激动人心的时刻。视频处理模块可以是处理器可执行以决定视频中的激动人心的时刻的一组指令。视频处理模块可以存储在计算机的存储器中并且可由处理器访问和执行。

视频处理模块可以存储在作为视频服务器的设备上。视频处理模块可以从存储在用户设备上的视频应用程序接收视频。视频处理模块可以从存储电影或电视节目的第二服务器接收视频。

视频处理模块确定与用户相关联的视频中的激动人心的时刻。视频处理模块可以根据标签识别精彩瞬间，选择有趣的瞬间。例如，用户界面模块可以生成用户界面，该用户界面包括供用户选择帧的选项，例如，通过点击视频中的架子来识别有趣的时刻。视频处理模块可以将元数据与包括用户放置的有趣时刻的时间位置的视频相关联。视频处理模块可以从用户接收形成有趣时刻的标志。例如，用户可以指定有趣的时刻包括视频中的人说特定短语或谈论特定主题。

视频处理寻找有趣的时刻

视频处理模块通过识别视频中的音频来确定有趣的时刻。视频处理模块可以确定视频中的音频类型。例如，视频处理模块可以对与音乐、掌声、笑声、嘘声等相关联的音频进行分类。视频处理模块可以确定音频的音量水平。例如，在篮球比赛视频中，欢呼声和嘘声的声音增加可能与有趣的时刻相关联，例如篮球运动员错过了一次投篮。

视频处理模块可以基于音频类型为每种类型的运动生成兴趣分数。例如，视频处理模块可以基于音乐或笑声的开始来开发指示时刻是有趣的兴趣分数。视频处理模块可以基于咳嗽或一般背景噪声生成表示该时刻不感兴趣的兴趣分数。视频处理模块可以根据视频中每种类型的音频的兴趣得分来确定感兴趣的时刻。

视频处理模块通过识别视频中的持续运动和识别与视频中的持续运动相关联的动作类型来确定有趣的时刻。视频处理模块可以通过将图像帧中的像素分类为背景或前景来确定活动。

视频处理模块可以对视频的所有图像帧或图像帧的子集进行分类。

视频处理模块基于图像帧的时序识别图像帧子集中的背景和前景。该子集可以包括视频的一些或全部帧内编码结构（I帧）。例如，视频处理模块可以对视频中的每三帧进行一次分类。在另一个示例中，视频处理模块可以对视频中的帧的子集执行排序，例如仅 I 帧、I 帧和一些或所有预测的图片帧（P 帧）等。

比较视频片段中的前景运动

该视频处理模块可以比较许多视频图像帧中的前景以识别前景运动。例如，视频处理模块可以使用不同的技术来识别前景中的活动，例如帧差分、自适应中值滤波和背景减法。该过程有利地识别前景中对象的运动。例如，在一个人在外面做侧手翻的视频中，视频处理模块可能会忽略背景中的运动，例如在风中摇曳的树木。仍然，视频处理模块识别执行侧手翻的人，因为该人在前景中。

并且，视频处理模块可以分析视频以确定与连续运动相关联的动作。例如，视频处理模块可以使用基于连续运动的矢量来比较可用视频中的恒定运动和连续运动。视频处理模块可以使用向量 t，识别一个人遛狗、打另一个人、抓鱼等。在另一个例子中，视频处理模块可以执行图像识别来识别对象和与事物相关联的运动类型在其他过去的视频中识别动作。

例如，视频处理模块识别蹦床。它基于蹦床与跳跃相关联、蛋糕与切或吹出生日蛋糕相关联、滑雪板与滑雪相关联等来确定人在蹦床上跳跃。视频处理模块可将元数据与视频相关联。包括每个动作类型的时间戳。例如，视频处理模块可以生成元数据，该元数据标识视频中的人乘坐小型摩托车的每个实例的时间戳。

基于视频中连续运动的有趣时刻

此外，视频处理模块可以基于与连续运动相关联的动作来确定有趣的时刻。例如，视频处理模块可以确定视频包括用户骑滑板。视频处理模块根据动作类型生成兴趣分数。视频处理模块可以开发对应于滑板动作的兴趣分数。视频处理模块可以基于动作的质量分配兴趣分数。例如，视频处理模块可以给出一个兴趣分数，表明当具有运动的帧显示时更有趣的时刻：

一个有明显面孔的人
图像质量高的边缘

这些将基于动作的可见性、照明、模糊、视频的稳定性。

在用户同意的情况下，视频处理模块可以基于用户偏好生成兴趣分数。例如，如果用户表达了对滑板的兴趣，则视频处理模块生成指示用户发现滑板令人愉快的兴趣分数。用户提供视频处理模块添加到与用户相关联的用户简档的明确兴趣。当用户同意隐性行为的分析时，视频处理模块基于隐性行为确定要添加到用户简档的动作类型，例如提供对与活动类型相关联的媒体的批准指示。

视频拼贴中对象的对象识别

视频处理模块可执行对象识别以识别视频中的对象。在用户同意后，视频处理模块可以执行对象识别，包括识别视频中的人脸和确定人脸的身份。视频处理模块可以将人脸的图像帧与人的图像进行比较，将图像帧传递给使用视频应用程序的其他成员等。在用户同意的情况下，视频处理模块可以向第二服务器请求识别信息。

例如，第二服务器可以维护社交网络。视频处理模块可以请求连接到与视频相关联的用户的个人资料图像或其他社交网络用户。在用户同意的情况下，视频处理模块可以对视频的图像帧中的人使用面部识别技术来识别与面部相关的人。

视频处理模块可以生成元数据，该元数据包括识别对象和事物出现在视频中的时间戳。例如，元数据可能由标识对象或人的类型的标签组成。如果用户已同意，则视频处理模块可以生成元数据，其中包括识别人员和人员出现在视频中的时间戳。例如，对于用户女儿的视频，视频处理模块可以生成元数据，该元数据标识女儿每次出现在视频中的时间和时间戳，并标识女儿在视频内与之交互的对象。

视频处理模块生成兴趣分数以识别视频中的对象或人物的类型。视频处理模块可以将各种对象与正面事物列表和有害对象列表进行比较，这些对象包括分别被普遍认为是正面和负面的对象。

当用户同意用户数据时，视频处理模块根据与视频相关联的用户的个性化信息分配兴趣分数。例如，在用户同意时，视频处理模块维护社交图并基于使用社交图识别的用户和视频中的人之间的关系来生成兴趣分数。

个性化和用户对视频的反应

视频处理模块可以根据用户提供的详细数据、在用户对视频的反应中发现的隐含信息，如视频网站上提供的评论、社交网络应用程序中的活动等，确定个性化信息，但需征得用户同意。视频处理模块根据与用户相关联的视频类型确定用户偏好。例如，视频处理模块可以基于用户创建或观看包括不同类型的运动（例如棒球、篮球等）的视频来确定用户更喜欢关于运动的视频。

视频处理模块可以确定与视频相关联的事件。视频处理模块可以基于与视频相关联的元数据来确定事件。例如，元数据可以包括与视频相关联的日期和位置。视频处理模块可以使用日期和位置来例如从第二服务器检索关于在该日期和时间发生什么事件的信息。当用户同意元数据时，视频处理模块可以使用识别视频中的对象和人物的元数据来确定事件。

例如，视频处理模块可以基于识别视频中的人群来确定事件是音乐会。特定对象可能与特定情况相关联。例如，蛋糕与生日和婚礼有关。篮球与球场等有关。在另一个例子中，人们可能与事件相关，例如人们在上课时间穿着特定情况的制服，人们坐在教堂聚会的长椅上，人们围着桌子拿着盘子吃晚餐，等等。视频处理模块可以基于在视频中识别的事件类型来生成激动人心的分数。

视频处理模块可以使用更多的数据源来识别事件。例如，视频处理模块可以基于与视频相关联的元数据确定拍摄视频的日期、时间和位置，并且在用户同意的情况下，从日历应用程序请求与数据和时间相关联的事件信息与用户相关联。视频处理模块可以从管理日历应用的第二服务器请求事件信息。

根据公开信息确定的视频事件

视频处理模块可以根据公开可用的信息确定事件。例如，视频处理模块可以使用与视频相关联的日期、时间和位置来确定视频来自足球比赛。视频处理模块可以将元数据与包括事件的识别信息的视频相关联。

视频处理模块可以将音频转录为文本并基于阅读器识别有趣的时刻。视频处理模块可以生成元数据，该元数据标识用户说出特定单词的每个实例的时间戳。例如，如果视频来自在云计算会议上发表的演讲，视频处理模块可以识别演讲者所说“未来”的每个位置的时间戳。视频处理模块可以使用音频作为有趣时刻的标志。例如，对于体育赛事或其他比赛，视频处理模块可以识别人群何时开始欢呼并确定在欢呼之前发生的连续运动，包括有趣的时刻。

视频处理模块可以确定兴趣分数是否满足或超过阈值分割值。假设视频的一部分包括满足或超过阈值分割值的兴趣分数。在那种情况下，视频处理模块可以指示分割模块生成由有趣时刻组成的视频片段。未能达到或超过阈值分割值的视频部分可能不会被识别为包括有趣的时刻。

有关潜在视频片段的兴趣得分的更多信息

The video processing module may apply interest scores on a scale, such as from 1 to 10. The interest score may get based on a combination of factors identified in the partn of the video. For example, the video processing module may generate an interest score based on the part of the video, including an event, an object, and a person.

The video processing module may receive feedback from a user and change the user profile to modify the interest score accordingly. For example, if a user provides a sign of approval (eg, a thumbs up, a +1, a like, saving a collage to the user's media library, etc.) of a collage that includes a video on new types of wearables, the video processing module may add wearables in a list of positive objects.

In another example, the user may explicitly state that the user enjoys collages where the event type is a rock show. The video processing module may update personalization information associated with the user, such as a user profile, to include the rock show as a preferred event type. The feedback consists of an indication of disapproval (a thumbs down, a -1, a dislike, etc.). The expressions of approval and disapproval get determined based on comments provided by a user. The feedback includes identifying a person, an object, or a type of event that someone wants to get included in the collage.

The segmentation module may be operable to segment the video into video segments based on interesting moments. This segmentation module may be a set of instructions executable by the processor to feature the video. It may get stored in the computer's memory and can be accessible and executable by the processor.

Segmentation to Find Interesting Moments For Video Collages

And, the segmentation module generates video segments that include interesting moments. Where the interesting moment is associated with continual motion, the segmentation module may create a video segment with a beginning and an end. The segmentation module may identify a start and an intermediate endpoint of continual motion within the piece and pick a sub-segment that includes both these points. For example, if the video is of a girl doing many cartwheels, the start point may be the start of a first cartwheel, and the intermediate endpoint may be the end of the first cartwheel. In another example, the segmentation module may identify a segment based on different types of motion.

For example, a first sub-segment maybe a cartwheel, and a second subsegment may be a jumping celebration. Next, may determine how to generate the segment by including at least a particular number of interesting moments. For example, the segmentation module may create a video segment with a first interesting moment with a specific object in the first frames. It may show a second interesting moment with continual motion in a group of double frames and a third interesting moment that includes a person in a third frame. Also, the segmentation module may generate a video segment that is one to three seconds long.

The segmentation module may generate a video segment that includes many frames at different periods in the video. For example, the segmentation module may create a video segment that provides for many instances where people at a conference say “cloud computing” at different periods in the video.

The segmentation module generates video segments based on a theme. When a user specifies that interesting moments include a type of action, the segmentation module generates a video segment that consists of the interesting moments identified by the video processing module. For example, the segmentation module may show a video segment where a person rides a scooter in the video. The segmentation module may select many action instances to include in the video segment based on the interesting scores.

Ranking Interesting Moments To Choose For Video Collages

The segmentation module may rank the interesting moments based on their corresponding interesting scores and select many of the interesting moments based on the length of the video segment, such as three seconds, five seconds, twenty seconds, etc. For example, the segmentation module may select the top five most interesting moments based on the ranking because the total length of the five most interesting moments is under 20 seconds.

The segmentation module may determine markers that state different sections within the video and generate segments that include interesting moments within the units.

The sections may include:

Different acts or scenes in a movie
Different news segments in a news reporting show
Different videos in a show about people filming dangerous stunts on video
等等。

For example, the segmentation module may generate three video segments for a movie. The three segments represent the three acts in the film, and each segment includes interesting moments cut from the corresponding act. The markers may consist of metadata stating each section's start and end, black frames, white frames, a title card, a chapter card, etc.

The segmentation module verifies that the video segments are different from each other. For example, the segmentation module may determine that each video segment includes different objects, so the collage does not include video segments that look too similar.

The collage module may be operable to generate a collage from the video segments. The collage module can be a set of instructions executable by the processor to provide the functionality described below for generating the collage. The collage module can become stored in the computer's memory and accessible and executable by the processor.

The collage module receives video segments from the segmentation module. The collage module may retrieve the selected video segments from the storage device.

Generating Video Collages From Video Segments

The collage module may generate a collage from the video segments where the video segments get displayed in a single pane. The video collages may take many forms. For example, the collage module may generate video collages when at least two video segments are available. In another example, the collage module may create video collages when at least four video segments are available. The video segments may be displayed in square windows, in portrait windows (eg, if the video segment gets shot in portrait mode), in a landscape window (eg, if the video gets shot in landscape mode), and with different aspect ratios (eg, 16:9, 4:3, etc.).

The collage module may configure the aspect ratios and orientations based on the user device used to view the collage. For example, the collage module may use a 16:9 aspect ratio for high-definition televisions, a 1:1 aspect ratio for square displays or viewing areas, a portrait collage for a user device in a portrait orientation, and a vast collage (eg, 100:9) for wearables such as augmented reality and virtual reality displays.

The collage module may combine a predetermined number of video segments to form the collage. For example, the collage module may rank the video segments from most attractive to least interesting based on the interest scores and generate a collage based on the predetermined number of video segments that are the most interesting. The collage module may select video segments with interest scores that meet or exceed a predetermined collage value.

The collage module processes the video segments. For example, the collage module may convert the video segments to high dynamic range (HDR), black and white, sepia, etc.

The Layout and Ordering of Video Segments Based O Chronology

The collage module may layout and order the video segments based on chronology, interest scores, visual similarity, color similarity, and the length of time of each piece. Ordering the collage based on chronology may include the first video segment corresponding to the earliest time, the second video segment corresponding to the earliest time, etc. The collage module may order the video segments based on the interest scores by ranking the video segments from most attractive to least interesting based on the interest scores and order the collage based on the ranking. The collage module may arrange the video segments in a clockwise direction, counterclockwise guidance, or an arbitrary direction. Other configurations are possible.

The collage module generates instructions for the user interface module to create graphical data that renders the collage with video segments in windows of different sizes. The size of the windows may get based on interest scores for each of the video segments. For example, the video segment with an interest score that indicates that it is most interesting may have the largest window size.

Additionally, the size of the windows may get based on the length of the video segments. For example, the shortest video segment may correspond to the smallest window size. The collage module may determine window size based on an artistic effect. For example, the collage module may generate windows that resemble creative works from the De Stijl art movement. In particular, the collage module may create a collage with shapes that resemble a Piet Mondrian painting with different sized boxes and different line thicknesses that distinguish the separation between different video segments.

The collage module generates a collage that is a video file (eg, an animated GIF, an MPG, etc.) with associated code (eg, JavaScript) that recognizes user selection (eg, to move to the second collage in a hierarchy, to playback a specific segment, etc.). The collage module may link the video segments to a location in the video. Upon selecting one of the video segments, the video gets displayed in the video that corresponds to the piece. For example, each video segment in the collage may include a hyperlink to the corresponding location in the video.

Generating Video Collages by Meeting a Threshold Score

The collage module generates and displays a collage by determining video segments that meet a threshold score. It may evaluate display characteristics for the collage and identify window layouts that meet the display characteristics. It can also select a particular window layout, generate the collage, and cause the collage to get displayed.

A graphic representation gets illustrated. The graphical representation includes an example timeline of a video and a corresponding collage 310 generated from four interesting moments. The timeline represents an eight-minute video. The eight-minute video may be an ice skating competition where four different ice skating couples each have a two-minute demonstration. The video processing module identified four interesting moments labeled A, B, C, and D in this example.

The segmentation module generates four video segments where each video segment includes a corresponding interesting moment.

Interesting moment A may include a first couple executing a sustained edge step.

The interesting moment B may consist of a second couple where one of the skaters runs a triple axel jump.

The interesting moment C may include a third couple executing the sustained edge step.

And the interesting moment D may consist of a fourth couple executing a serpentine step sequence.

The video processing module may determine the interesting moments based on a user identifying the interesting moments, identifying continual motion, for example, a motion that occurs before the crowd starts cheering, or another technique.

The collage module generates a collage from the video segments. In this example, the collage module generates a collage that orders the video segments chronologically in a clockwise direction. Suppose a user selects one of the video segments.

The user interface module may cause the video to get displayed at the location in the video that corresponds to the time of the video segment.

For example, in the example depicted, if a user selects video segment D, a new window may appear that displays the video at the D location illustrated on the timeline near the end of the video.

A Graphic Representation of Another Example Video Collage

In this example, the collage includes 19 video segments. The collage module may generate the different sized windows for the collage based on the interest scores for each video segment and the length of the video segments. For example, a figure may represent a collage generated from a video of a news program. Video segment A may represent the feature news story for the news program, which is both the most interesting and the longest. As a result, video segment A gets described with the largest window. Video segments B, C, and H, represent other less interesting and shorter news segments. Lastly, video segments D, E, F, and G represent short snippets in the news program.

The collage module generates a hierarchical collage. Hierarchical collages may be helpful to, for example, present a limited number of video segments in a single window. Besides, the hierarchical collage may create an entertaining effect that helps users stay more engaged when so many video segments appear too crowded. The collage module may group the video segments based on the timing of the video segments or a type of interesting moment associated with the video segments.

The collage module may generate the first collages based on the groups. For example, the collage module may divide a video into three parts and develop the first collages for each video segment in the first, second, and last. In another example, a video may include tryouts and competitions. The collage module may group based on the type of interesting moment by distinguishing between tryouts and competitions.

The collage module may generate two first collages, one first collage for the video segments in the tryouts and one second for the video segments in the competitions. The representative segment may be the most extended video segment for a group. The representative segment may be a segment that includes a high amount of continual motion compared with other elements in the group. A combination of interest score, segment length, amount of continual movement, etc., may get used to select the representative segment.

The collage module may select a representative segment from the video segments associated with the first collages. The usual component may get based on the interest score for each of the video segments in the group. For example, continuing with the above example of a group of tryouts and a group of competitions, the collage module may select the most interesting tryout video segment to represent the tryout group's representative segment.

The collage module may generate a second collage that includes the representative segment for each of the groups. The standard components link to each of the corresponding first collages such that the selection of one of the usual segments causes the related first collage to be visible. The collage module may instruct the user interface module to generate graphical data that drives the second collage to open to display the corresponding first collage, replace the second collage with the first collage, or to causes all the first collages to get displayed.

The collage module configures the video segments in the collage to play automatically. Or additionally, the collages may have to get selected to play. The video segments may play at once or sequentially such that a first video segment plays, then a second video segment plays, etc. The video segments may play once or become configured to play on a continuous loop. A user may be able to configure automatic playback or other options as system settings.

The collage module configures the video segments to play at different frame rates. For example, video segment A may play at the standard speed of 24 FPS (frames per second), video segment B may play at a slower pace of 16 FPS, video segment C may play at a faster speed of 50 FPS, and video segment D may play at 24 FPS. The collage module selects the frame rate based on the content of the video segment. For example, the collage module may determine a slow frame rate for video segments when the rate of continual motion in the video segment is high, such as a video segment of a pitcher throwing a baseball. The collage module may select a faster frame rate when the rate of continual motion in part is low, such as a video segment of a person blowing out a candle or cutting a cake.

An Example Timeline And Hierarchical Video Collages

For example, the timeline represents a video of a meeting that includes presenters giving talks, attendees forming discussion groups, and closing remarks becoming presented. The collage module groups the video segments into three groups: group A represents a section where presenters talk, group B represents a section where people form discussion groups, and group C describes closing remarks.

拼贴模块生成两个第一拼贴：一个用于A组，包括四个视频片段，一个用于B组，提供三个视频片段。拼贴模块生成第二拼贴，其中包括两个第一拼贴的代表性细节和组 C 的视频片段。第二拼贴可以由来自每个组的 A、B 和 C 的常用组件组成。

假设用户选择A组的代表性片段。在这种情况下，用户界面模块使用户界面显示A组的第一拼贴画，其包括视频片段A1、A2、A3和A4。如果用户选择视频片段A3，则使用户界面在时间轴中与A3对应的位置显示视频。

用户界面模块可用于向用户提供信息。该用户界面模块可以是处理器可执行的一组指令，以提供下面描述的用于向用户提供信息的功能。用户界面模块可以存储在计算机的存储器中并且可由处理器访问和执行。

用户界面模块可以从视频应用中的其他模块接收指令以生成可操作以显示用户界面的图形数据。例如，用户界面模块可以创建显示由拼贴模块创建的拼贴的用户界面。

用户界面模块可以生成图形数据以显示链接到完整视频的拼贴画。对用户点击拼贴的用户界面的响应可以显示原始视频或导致打开包括完整视频的新网页。用户界面模块提供将拼贴下载到用户设备或从视频服务器流式传输拼贴的选项。

用户界面模块可以为用户生成选项以提供关于拼贴画的反馈。例如，用户界面模块可以创建包括反馈按钮的用户界面，用户可以选择该反馈按钮来查看包含用户想要添加为明确兴趣的对象的下拉菜单。用户界面模块可以基于与用于创建用户可以选择作为明确兴趣的对象列表的视频片段相关联的标签来提供事物。

包含 Vdeos 部分的用户界面的图形表示

在视频部分，用户界面模块可以从用户接收有趣时刻的指定。在该示例中，用户界面模块包括通知用户用户可以通过点击视频来识别有趣时刻的指令。作为用户选择的结果，视频片段模块生成包括有趣时刻的片段。拼贴模块生成由视频片段组成的拼贴。

Figure 还包括一个由拼贴画组成的拼贴画部分。在该示例中，用户选择回放按钮之一来观看相应的视频片段。用户界面还包括一个选项，用于在 +1 按钮和允许用户共享拼贴画的共享按钮中指示视频的批准。例如，用户界面模块可以生成用于通过社交网络、使用电子邮件、通过聊天应用程序等共享拼贴画的选项。

生成视频拼贴的示例方法

有趣的时刻在视频中确定。例如，用户识别基于连续运动、视频中的对象等选择的有趣时刻。基于有趣时刻生成视频片段，其中每个视频片段包括来自视频的至少一个有趣时刻. 从视频片段生成拼贴画，其中拼贴画由至少两个窗口组成，每个窗口包含一个视频片段。

生成分层视频拼贴

这些步骤可由视频应用程序执行。

视频拼贴是根据有趣的时刻创建的。

有趣的时刻在视频中确定。

视频片段被分组。

生成两个或更多个第一视频拼贴画，每个拼贴画对应于两个或更多个组中的一个。每个第一视频拼贴包括至少两个视频片段。从每个第一拼贴画的至少两个视频片段中为每个组选择一个代表性组件。生成第二个拼贴画，其中包括每个组的常用片段。第二拼贴链接到在相关组中提供至少两个视频片段的对应第一拼贴。