Видеоколлажи с интересными моментами

Фотоколлажи и видеоколлажи

Мы можем видеть видеоколлажи на оборудовании, связанном с Google, которое генерирует видео. В фотографиях Google есть функция коллажа, и я могу посещать и видеть коллажи изображений из определенных мест, соединенных вместе. Существует способ пометить «ключевые моменты» из видео с помощью разметки схемы, чтобы результаты поиска в Google могли указывать на ключевые моменты из видео (настоятельно рекомендуется). В недавнем патенте Google описывается создание видеоколлажей и упоминаются «интересные моменты» в этих видеороликах. Он не говорит нам о разнице между ключевым моментом в одном видео и интересными моментами в видеоколлажах из нескольких видео.

Но он описывает, почему он может делать видеоколлажи:

В настоящее время используется один миллиард смартфонов. Есть потенциал для семикратного роста в будущем. Смартфоны используются для захвата и использования контента, например фотографий и видео. Видео передают больше, чем фотографии, потому что они фиксируют временные изменения. Но люди могут с меньшей вероятностью смотреть видео, потому что не все части видео интересны.

Базовое описание этого патента представляет собой контекст этого патента.

Создание видеоколлажей

Этот патент относится к интересным моментам в видеороликах, а не к ключевым моментам в видеороликах. Есть много страниц справки о том, как отмечать ключевые моменты в видео, но ни одна из них не говорит, что они указывают на интересные моменты. Но они указывают на моменты, которые люди, публикующие эти видео, считают интересными. Патент на видеоколлажи создает структуру, описывающую, как можно создавать видеоколлажи, наполненные интересными моментами.

Использование схемы для отметки ключевых моментов видео в результатах поиска

Когда я наткнулся на этот патент, я вспомнил сообщение разработчика Google о реализации разметки SeektoAction: новый способ включения ключевых моментов видео в поиске. Вкратце, это работает так:

Сегодня мы запускаем новый способ включить ключевые моменты для видео на вашем сайте без необходимости вручную маркировать каждый сегмент. Все, что вам нужно сделать, это сообщить Google шаблон URL-адреса для перехода к определенной временной метке в вашем видео. Затем Google будет использовать ИИ для определения ключевых моментов в видео и отображения ссылок непосредственно на эти моменты в результатах поиска.

Мне также напомнили, что люди задавали мне вопросы о «ключевых моментах», найденных на видео на Youtube. На эту тему есть сообщение в блоге Google: Поиск помогает находить ключевые моменты в видеороликах. Это быстро говорит нам о том, что:

С сегодняшнего дня вы можете находить ключевые моменты в видеороликах и быстрее получать нужную информацию с помощью создателей контента.

Когда вы ищете такие вещи, как обучающие видеоролики с несколькими шагами или длинные видеоролики, такие как выступления или документальный фильм, поиск будет предоставлять ссылки на ключевые моменты в видеоролике на основе временных меток, предоставленных создателями контента.

Вы легко отсканируете, чтобы увидеть, есть ли в видео то, что вы ищете, и найдете соответствующий раздел содержания.

Для людей, использующих программы чтения с экрана, это изменение также делает видеоконтент более доступным.

На этой странице разработчика Google рассказывается об этих отметках времени: загружайте видео в Google с разметкой схемы.

Реализации патента относятся к компьютерному способу создания коллажа. Метод включает определение захватывающих моментов в видео. Способ дополнительно содержит создание видеосегментов на основе захватывающих моментов, при этом каждый из видеосегментов имеет по меньшей мере один из захватывающих моментов из видео. Способ дополнительно включает в себя создание коллажа из видеосегментов, где коллаж содержит, по меньшей мере, два окна, и каждое окно содержит один из видеосегментов.

Я также наткнулся на статью Search Engine Land о ключевых моментах в видео, в которой говорится, что: Google официально запускает SeekToAction для ключевых моментов для видео в поиске

Я также нашел эту страницу поддержки на Youtube об удержании аудитории: Измерьте ключевые моменты удержания аудитории.

Ключевые моменты в видео могут быть похожи на интересные моменты в видеоколлажах

В патенте содержится много информации об интересных моментах.

Действия патента на видеоколлаж дополнительно включают в себя получение выбранных сегментов видео в коллаже и обеспечение отображения видео, которое соответствует выбору.

Определение интересных моментов в видео включает в себя:

• Определение звука в видео
• Ссылаясь на тип действия, связанного со звуком в видео
• Создание оценки интереса для каждого типа аудио в видео
• Определение интересных моментов на основе оценки интереса для каждого типа аудио в видео.
• Выбор интересных моментов в видео включает:
• Обратите внимание на движение в видео
• Поиск типа действия, связанного с непрерывным движением в видео
• Создание оценки интереса для каждого типа действий в видео
• Поиск интересных моментов на основе оценки интереса к каждому типу действия в видео.

Видеосегменты в коллаже настраиваются на автоматическое воспроизведение. По крайней мере, первый сегмент видеофрагментов в коллаже настраивается для воспроизведения с другой частотой кадров, чем другие сегменты видео в коллаже.

Объединение видеоколлажей из видеосегментов включает в себя создание графических данных, которые визуализируют коллаж с видеосегментами в окнах разных размеров. Окна могут быть основаны на оценках интереса для сегментов видео, длине каждого сегмента видео и художественном эффекте.

Создание видеоколлажей из интересных моментов

Реализуемый на компьютере метод создания иерархического коллажа включает в себя:

• Как найти интересные моменты в видео
• Включение фрагментов видео, основанных на интересных моментах
• Группирование видеофрагментов в группы
• Создание первых коллажей, каждый из которых соответствует одной из групп, и каждый из первых коллажей, включающий не менее двух сегментов видео.
• Выбор репрезентативного сегмента для каждой из групп из как минимум двух видеосегментов каждого из двух или более первых коллажей
• Показ второго коллажа, который включает репрезентативный сегмент для каждой из групп, где репрезентативный сегмент во втором коллаже связан с соответствующим первым коллажем, который включает в себя по крайней мере два видеосегмента, которые включаются в соответствующую группу.
• Выбор набора репрезентативных сегментов во втором коллаже и отображение соответствующего первого коллажа
• Объединение сегментов видео в группы основано на времени каждого из сегментов видео или группирование сегментов видео в группы происходит на основе типа интересного момента, связанного с каждым из сегментов видео.
• Получение оценки интереса к интересным моментам и выбор представителя для каждой из групп
  может быть получено на основе оценки интереса

Способ включает средства для:

• Определение интересных моментов в видео
• Создание сегментов видео на основе интересных моментов, при этом каждый из сегментов видео включает в себя как минимум один из интересных моментов из видео.
• Создание коллажа из видеосегментов, при этом коллаж включает в себя как минимум два окна, а каждое окно включает в себя один из видеосегментов.

Система и методы, описанные ниже, решают проблему идентификации захватывающих моментов в видео путем создания коллажа, который включает в себя видеофрагменты захватывающих моментов.

Патент на видеоколлажи интересных моментов

Патент на видеоколлажи находится по адресу:

Коллаж из интересных моментов в видео
Изобретатели: Шарад Рамасвами, Матиас Грундманн и Кеннет Конли.
Цессионарий: Google LLC
Патент США: 11,120,835.
Выдано: 14 сентября 2021 г.
Подана: 17 декабря 2018 г.

Абстрактный

Компьютерный метод включает определение интересных моментов в видео. Способ дополнительно включает в себя создание сегментов видео на основе интересных моментов, при этом каждый из сегментов включает в себя, по меньшей мере, один из интересных моментов из видео. Способ дополнительно включает в себя создание коллажа из видеосегментов, где коллаж включает в себя, по меньшей мере, два окна, и при этом каждое окно включает в себя один из видеосегментов.

Патент сообщает нам, что пользователи, выполняющие поиск, с большей вероятностью будут просматривать видео, если они смогут предварительно просмотреть интересные моменты в видео и сразу перейти к этим захватывающим моментам в видео.

Видео-приложение описано здесь:

• Находит интересные моменты в видео
• Строит видеофрагменты на основе интересных моментов
• Создает коллаж из видеофрагментов, которые включают видеофрагменты на одной панели.

Например, видео может иметь первый видеосегмент смеющегося ребенка, второй видеосегмент собаки, бегущей за ребенком, и третий видеосегмент ребенка, надувающего праздничный торт.

Как создаются видеоколлажи

Видеоприложение может генерировать видеоколлажи, которые отображаются короткими, например, продолжительностью от двух до трех секунд, циклами из первого, второго и третьего сегментов видео. Частота кадров каждого из сегментов видео может отличаться. Например, первый сегмент видео может включать в себя видео с замедленным движением, второй сегмент видео может состоять из видео с ускоренным движением, а третий сегмент видео может включать в себя сегмент видео с обычной скоростью.

Когда пользователь выбирает один из сегментов видео в коллаже, приложение может вызвать отображение видео, которое соответствует выбранной части. Например, если первый сегмент видео происходит в 2:03 минуты, выбор пользователя заставляет видео воспроизводиться на 2:03 минуты.

Видеоприложение может создавать иерархический коллаж. Видео приложение может определять захватывающие моменты в видео. Затем он может создавать видеофрагменты на основе захватывающих моментов.
Он может группировать сегменты видео в группы и создавать первые коллажи на основе групп. Затем он может выбрать репрезентативную часть для каждой группы и создать второй коллаж, который включает обычный сегмент для каждой группы.

Группы могут быть основаны на времени или типе интересного момента, связанного с каждым сегментом видео. Продолжая приведенный выше пример, первая группа может включать в себя первый сегмент видео, на котором ребенок смеется, второй сегмент видео, в котором собака бежит за ребенком, и третий сегмент видео, в котором ребенок надувает праздничный торт, и все это происходит в первая треть видео.

Это видеоприложение может также генерировать оценку интереса для каждого сегмента видео и выбирать репрезентативный сегмент на основе оценки интереса. Например, третий видеосегмент ребенка, надувающего праздничный торт, может иметь показатель интереса, указывающий на наиболее интересный видеосегмент. В результате видеоприложение может выбрать третий сегмент в качестве репрезентативного сегмента для первой группы в первом коллаже.

Когда пользователь выбирает один из обычных сегментов во втором коллаже, видеоприложение может вызвать отображение первого коллажа.

Пример приложения для создания видеоколлажей

Этот патент касается приложения, которое включает в себя видеосервер, пользовательские устройства, второй сервер и сеть. Похоже, что он мог генерировать видеоколлажи с помощью различных аппаратных устройств и, возможно, был намеренно оставлен широко открытым для неразвитого оборудования.

Пользователи могут быть связаны с соответствующими пользовательскими устройствами. Метод может включать другие серверы или устройства.

Объекты системы связаны через сеть. Сеть может быть традиционной: проводной или беспроводной, и может иметь множество различных конфигураций, включая звездообразную конфигурацию, конфигурацию Token Ring или другие конфигурации. Кроме того, сеть может включать в себя локальную сеть (LAN), обширную сеть (WAN) (например, Интернет) и другие взаимосвязанные пути данных, по которым могут связываться многие устройства.

В базе данных могут храниться видеоролики, созданные или загруженные пользователями, связанными с пользовательскими устройствами, и коллажи, созданные из видеороликов.

В базе данных могут храниться видеоролики, разработанные независимо от устройств пользователя.

В базе данных также могут храниться данные социальных сетей, связанные с пользователями.

Пользовательское устройство может быть компьютером с памятью и аппаратным процессором, например камерой, портативным компьютером, настольным компьютером, планшетным компьютером, мобильным телефоном, носимым устройством, дисплеем на голове. Аппаратный процессор также может быть мобильным устройством электронной почты, портативным игровым проигрывателем, портативным музыкальным проигрывателем, устройством чтения, телевизором с процессорами, встроенными в него или связанными с ним, или другим электронным устройством, способным осуществлять доступ к сети.

Пользовательское устройство подключается к сети через сигнальную линию. Сигнальная линия может быть проводным соединением, таким как Ethernet, коаксиальный кабель, оптоволоконный кабель и т. Д., Или беспроводным соединением, таким как Wi-Fi®, Bluetooth® или другой беспроводной технологией. Пользователи получают доступ к пользовательским устройствам соответственно.

Примеры пользовательских устройств, используемых для создания видеоколлажей

Пользовательское устройство может быть мобильным устройством, которое включается в носимое устройство, которое носит пользователь. Например, пользовательское устройство входит в состав зажима (например, браслета), украшения или пары очков. В другом примере пользовательским устройством могут быть умные часы. Пользователь может просматривать изображения из видеоприложения на дисплее устройства, которое носит пользователь. Например, пользователь может просматривать изображения на смарт-часах или на дисплее смарт-браслета.

Видеоприложение может быть автономным приложением, которое сохраняется на устройстве пользователя. Видеоприложение может частично храниться на пользовательском устройстве и на видеосервере. Например, видеоприложение может включать в себя видеоприложение тонкого клиента, хранимое на пользовательском устройствеa, и видеоприложение, хранимое на видеосервере.

Видеоприложениеb, хранящееся на пользовательском устройстве, может записывать видео, передаваемое в видеоприложение, хранящееся на видеосервере. Коллаж создается из видео. Видеоприложение может отправить коллаж в видеоприложение для отображения на пользовательском устройстве. В другом примере видеоприложение, хранящееся на пользовательском устройствеa, может генерировать коллаж и отправлять коллаж в видеоприложение, хранящееся на видеосервере. Видеоприложение, хранимое на видеосервере, может включать в себя те же компоненты или другие компоненты, что и видеоприложение, хранящееся на пользовательском устройстве.

Видеоприложение может быть автономным приложением, хранящимся на видеосервере. Пользователь может получить доступ к видеоприложению через веб-страницу, используя браузер или другое программное обеспечение на устройстве пользователя. Например, пользователи могут загружать видео, хранящееся на устройстве или со второго сервера, в видеоприложение для создания коллажа.

Второй сервер может включать в себя процессор, память и возможности сетевой связи. Второй сервер - это аппаратный сервер. Второй сервер отправляет и принимает данные на видеосервер и пользовательские устройства и от них через сеть.

Второй сервер может предоставлять данные видеоприложению. Например, второй сервер может быть отдельным сервером, который генерирует видео, используемое видеоприложением для создания коллажей. В другом примере второй сервер может быть сервером социальной сети, который поддерживает социальную сеть, в которой пользователь может делиться коллажами с другими пользователями социальной сети. В еще одном примере второй сервер может включать в себя программное обеспечение для обработки видео, которое анализирует видео для идентификации объектов, лиц, событий, типа действия, текста и т. Д. Второй сервер может быть связан с той же компанией, которая обслуживает видеосервер или другая компания.

Видеоколлажи с прикрепленной информацией об объекте

Пока пользователь соглашается использовать такие данные, второй сервер может предоставлять видеоприложению информацию профиля или изображения, которые видеоприложение может использовать для идентификации человека на фотографии с соответствующим профилем в социальной сети. В другом примере второй сервер может предоставить видеоприложению информацию, относящуюся к объектам, идентифицированным в изображениях, используемых видеоприложением.

Например, второй сервер может включать электронную энциклопедию, которая предоставляет информацию об ориентирах, идентифицированных на фотографиях. Этот веб-сайт электронных покупок предоставляет информацию для закупающих организаций, указанных на изображениях. Это приложение электронного календаря предлагает, при условии согласия пользователя, название события, связанное с видео, приложение карты, которое предоставляет информацию о местоположении, связанном с видео, и т. Д.

Обсуждаемые здесь системы и методы собирают, хранят и используют личную информацию пользователей только после получения явного разрешения от соответствующих пользователей. Например, пользователь контролирует, собирают ли программы или функции информацию об этом конкретном пользователе, или другие пользователи применяются к программе или части. Пользователи хранят информацию, относящуюся к этому пользователю, а также к тому, управляется ли эта информация и которая собирается.

Например, пользователям могут быть предоставлены параметры управления. Определенные данные могут обрабатываться различными способами, прежде чем они будут сохранены или использованы для удаления личной информации. Например, личность пользователя может быть обработана для определения отсутствия информации, позволяющей установить личность. В качестве другого примера, географическое положение пользователя может быть обобщено на более крупный регион, так что конкретное местоположение пользователя не может быть определено.

Пример компьютера, создающего видеоколлажи

Компьютер может быть видеосервером или пользовательским устройством.

Компьютер может включать в себя процессор, память, блок связи, дисплей и запоминающее устройство.

Видеоприложение может храниться в памяти.

Видеоприложение включает в себя модуль обработки видео, модуль сегментации, модуль коллажа и модуль пользовательского интерфейса. Возможны другие модули и конфигурации.

Модуль обработки видео может работать для определения захватывающих моментов в видео. Модуль обработки видео может быть набором инструкций, выполняемых процессором для определения захватывающих моментов в видео. Модуль обработки видео может храниться в памяти компьютера и быть доступным и исполняемым процессором.

Модуль обработки видео может храниться на устройстве, которое является видеосервером. Модуль обработки видео может принимать видео из видеоприложения, хранящегося на пользовательском устройстве. Модуль обработки видео может принимать видео со второго сервера, на котором хранятся фильмы или телешоу.

Модуль обработки видео определяет захватывающие моменты в видео, связанные с пользователем. Модуль обработки видео может определять захватывающие моменты и выбирать интересные моменты на основе ярлыка. Например, модуль пользовательского интерфейса может сгенерировать пользовательский интерфейс, который включает в себя возможность выбора пользователем кадров, например, щелчком по полкам в видео для определения интересных моментов. Модуль обработки видео может связывать метаданные с видео, которые включают временные местоположения интересных моментов, размещенных пользователем. Модуль обработки видео может получать от пользователя знак того, что представляет собой интересный момент. Например, пользователь может указать, что к интересным моментам относятся люди в видео, говорящие определенную фразу или говорящие на определенную тему.

Обработка видео: поиск интересных моментов

Модуль обработки видео определяет интересные моменты, идентифицируя звук в видео. Модуль обработки видео может определять тип звука в видео. Например, модуль обработки видео может классифицировать звук, связанный с музыкой, аплодисментами, смехом, свистом и т. Д. Модуль обработки видео может определять уровень громкости звука. Например, в видео о баскетбольном матче усиление звука от аплодисментов и свистков может быть связано с интересным моментом, например с баскетболистом, который пропустил бросок.

Модуль обработки видео может генерировать оценку интереса для каждого типа движения на основе типа звука. Например, модуль обработки видео может получить оценку интереса, которая указывает на то, что момент является интересным, на основе начала музыки или смеха. Модуль обработки видео может генерировать оценку интереса, что означает, что момент не интересен на основе кашля или общего фонового шума. Модуль обработки видео может определять интересный момент на основе оценки интереса для каждого типа аудио в видео.

Модуль обработки видео определяет интересные моменты, определяя непрерывное движение в видео и определяя тип действия, связанного с постоянным движением в видео. Модуль обработки видео может определять активность, классифицируя пиксели в кадре изображения как фоновый или передний план.

Модуль обработки видео может классифицировать все кадры изображения или подмножество кадров изображения видео.

Модуль обработки видео идентифицирует фон и передний план в подмножестве кадров изображения на основе синхронизации кадров изображения. Подмножество может включать в себя несколько или все интракодированные структуры (I-кадры) видео. Например, модуль обработки видео может выполнять классификацию для каждого третьего кадра видео. В другом примере модуль обработки видео может выполнять сортировку на подмножестве кадров в видео, например, только на I-кадрах, I-кадрах и нескольких или всех предсказанных кадрах изображения (P-кадрах) и т. Д.

Сравнение движения переднего плана в видеосегментах

Этот модуль обработки видео может сравнивать передний план во многих кадрах видеоизображения, чтобы идентифицировать движение переднего плана. Например, модуль обработки видео может использовать различные методы для идентификации активности на переднем плане, такие как разность кадров, адаптивная медианная фильтрация и вычитание фона. Этот процесс выгодно идентифицирует движение объектов на переднем плане. Например, в видео, на котором человек крутится на улице, модуль обработки видео может игнорировать движение в фоновом режиме, такое как раскачивание деревьев на ветру. Тем не менее, модуль обработки видео идентифицирует человека, выполняющего колесо телеги, потому что этот человек находится на переднем плане.

И модуль обработки видео может анализировать видео, чтобы определить действие, связанное с непрерывным движением. Например, модуль обработки видео может использовать вектор на основе непрерывного движения для сравнения постоянного движения с непрерывным движением в доступных видео. Модуль обработки видео может использовать вектор t, идентифицировать человека, выгуливающего собаку, ударив другого человека, поймав рыбу и т. Д. В другом примере модуль обработки видео может выполнять распознавание изображений для идентификации объектов и типов движения, связанных с вещами. в других прошлых видео, чтобы определить действие.

Например, модуль обработки видео идентифицирует батут. Он определяет, что человек прыгает на батуте, на основании того, что батуты ассоциируются с прыжком, торт ассоциируется с вырезанием или выдуванием праздничного торта, лыжи ассоциируются с катанием на лыжах и т. Д. Модуль обработки видео может связывать метаданные с видео, которое включает временные метки каждого типа действия. Например, модуль обработки видео может генерировать метаданные, которые идентифицируют временную метку каждого случая, когда человек едет на скутере в видео.

Интересные моменты на основе непрерывного движения в видеороликах

Также модуль обработки видео может определять интересный момент на основе действия, связанного с непрерывным движением. Например, модуль обработки видео может определить, что видео включает в себя пользователя, катающегося на скейтборде. Модуль обработки видео генерирует рейтинг интереса в зависимости от типа действия. Модуль обработки видео может выставить оценку интереса, которая соответствует действию катания на скейтборде. Модуль обработки видео может назначить оценку интереса на основе качества действия. Например, модуль обработки видео может дать оценку интереса, которая указывает на более интересный момент, когда кадры с движением показывают:

• Человек с видимым лицом
• Края, где качество изображений высокое

Они будут зависеть от видимости действия, освещения, размытия и стабильности видео.

С согласия пользователя модуль обработки видео может генерировать оценку интереса на основе предпочтений пользователя. Например, если пользователь проявил интерес к скейтбордингу, модуль обработки видео генерирует оценку интереса, которая указывает, что пользователь находит скейтбординг приятным занятием. Пользователь предоставляет явные интересы, которые модуль обработки видео добавляет в профиль пользователя, связанный с пользователем. Когда пользователь дает согласие на анализ неявного поведения, модуль обработки видео определяет типы действий, которые нужно добавить в профиль пользователя, на основе неявного поведения, например, предоставление указаний одобрения для мультимедиа, связанного с типами действий.

Распознавание объектов на объектах в видеоколлажах

Модуль обработки видео может выполнять распознавание объектов для идентификации объектов в видео. С согласия пользователя модуль обработки видео может выполнять распознавание объекта, которое включает в себя идентификацию лица на видео и определение личности лица. Модуль обработки видео может сравнивать кадр изображения лица с изображениями людей, достигать кадра изображения с другими участниками, которые используют видеоприложение, и т. Д. По согласию пользователя модуль обработки видео может запросить идентифицирующую информацию со второго сервера.

Например, второй сервер может поддерживать социальную сеть. Модуль обработки видео может запрашивать изображения профиля или других пользователей социальной сети, подключенных к пользователю, связанному с видео. С согласия пользователя модуль обработки видео может использовать методы распознавания лиц для людей в кадрах изображения видео, чтобы идентифицировать людей, связанных с лицами.

Модуль обработки видео может генерировать метаданные, которые включают в себя идентификацию объектов и отметки времени, когда вещи появляются в видео. Например, метаданные могут состоять из меток, которые идентифицируют тип объекта или человека. Если пользователь дал согласие, модуль обработки видео может генерировать метаданные, которые включают в себя идентификацию людей и отметки времени, когда люди появляются в видео. Например, для видео дочери пользователя модуль обработки видео может генерировать метаданные, которые идентифицируют каждый раз, когда дочь появляется в видео, и временные метки, а также идентифицируют объекты, с которыми дочь взаимодействует в видео.

Модуль обработки видео генерирует оценку интереса, чтобы идентифицировать тип объекта или человека на видео. Модуль обработки видео может сравнивать различные объекты со списком положительных вещей и списком вредоносных объектов, которые включают объекты, которые обычно распознаются как положительные и отрицательные, соответственно.

Когда пользователь соглашается с пользовательскими данными, модуль обработки видео назначает оценку интереса на основе информации персонализации для пользователя, связанного с видео. Например, с согласия пользователя модуль обработки видео поддерживает социальный граф и генерирует оценку интереса на основе отношений между пользователем и человеком в видео, как идентифицировано с помощью социального графа.

Персонализация и реакция пользователей на видео

Модуль обработки видео может определять информацию персонализации с согласия пользователя на основе подробных данных, предоставленных пользователем, неявной информации, обнаруженной в реакциях пользователя на видео, например, комментарии, предоставленные на видеосайтах, активность в приложениях социальных сетей и т. Д. Модуль обработки видео определяет предпочтения пользователя на основе типов видео, связанных с пользователем. Например, модуль обработки видео может определять, что пользователь предпочитает видеоролики о спорте, основываясь на том, что пользователь создает или просматривает видеоролики, которые включают в себя различные виды спорта, такие как бейсбол, баскетбол и т. Д.

Модуль обработки видео может определять событие, связанное с видео. Модуль обработки видео может определять событие на основе метаданных, связанных с видео. Например, метаданные могут включать дату и местоположение, связанные с видео. Модуль обработки видео может использовать дату и местоположение для извлечения информации, например, со второго сервера, о том, какое событие произошло в эту дату и время. Когда пользователь дает согласие на использование метаданных, модуль обработки видео может использовать метаданные, которые идентифицируют объекты и людей в видео, чтобы определить событие.

Например, модуль обработки видео может определить, что мероприятие было концертом, на основании определения толпы людей на видео. Конкретные объекты могут быть связаны с определенными обстоятельствами. Например, торты ассоциируются с днями рождения и свадьбами. Баскетбол ассоциируется с кортом и т. Д. В другом примере люди могут быть связаны с событиями, например, люди, носящие форму с определенными обстоятельствами в школьные часы, люди, сидящие на скамьях на церковных собраниях, люди вокруг стола с тарелками во время обеда, и т.д. Модуль обработки видео может генерировать впечатляющую оценку на основе типа события, идентифицированного в видео.

Модуль обработки видео может использовать больше источников данных для идентификации события. Например, модуль обработки видео может определять дату, время и место, где было снято видео, на основе метаданных, связанных с видео, и, с согласия пользователя, запрашивать информацию о событии, связанном с данными и временем, из календарного приложения. связанный с пользователем. Модуль обработки видео может запрашивать информацию о событии у второго сервера, который управляет приложением календаря.

События из видео, определенные на основе общедоступной информации

Модуль обработки видео может определять событие из общедоступной информации. Например, модуль обработки видео может использовать дату, время и местоположение, связанные с видео, чтобы определить, что видео относится к футбольному матчу. Модуль обработки видео может связывать метаданные с видео, которые включают в себя идентифицирующую информацию для события.

Модуль обработки видео может преобразовывать звук в текст и определять интересный момент на основе читателя. Модуль обработки видео может генерировать метаданные, которые идентифицируют метку времени для каждого случая, когда пользователь произнес определенное слово. Например, если видео взят из выступлений на конференции по облачным вычислениям, модуль обработки видео может идентифицировать временную метку для каждого места, где докладчик сказал «будущее». Модуль обработки видео может использовать звук как знак интересного момента. Например, для спортивных мероприятий или других соревнований модуль обработки видео может идентифицировать, когда толпа начинает аплодировать, и определять непрерывное движение, которое произошло прямо перед аплодисментами, включая интересный момент.

Модуль обработки видео может определять, соответствует ли оценка интереса пороговому значению сегментации или превышает его. Предположим, что часть видео содержит оценку интереса, которая соответствует или превышает пороговое значение сегментации. В этом случае модуль обработки видео может дать команду модулю сегментации сгенерировать сегмент видео, который состоит из интересного момента. Части видео, которые не соответствуют или превышают пороговое значение сегментации, не могут быть идентифицированы как содержащие интересный момент.

Подробнее о показателях интереса по потенциальным сегментам видео

The video processing module may apply interest scores on a scale, such as from 1 to 10. The interest score may get based on a combination of factors identified in the partn of the video. For example, the video processing module may generate an interest score based on the part of the video, including an event, an object, and a person.

The video processing module may receive feedback from a user and change the user profile to modify the interest score accordingly. For example, if a user provides a sign of approval (eg, a thumbs up, a +1, a like, saving a collage to the user's media library, etc.) of a collage that includes a video on new types of wearables, the video processing module may add wearables in a list of positive objects.

In another example, the user may explicitly state that the user enjoys collages where the event type is a rock show. The video processing module may update personalization information associated with the user, such as a user profile, to include the rock show as a preferred event type. The feedback consists of an indication of disapproval (a thumbs down, a -1, a dislike, etc.). The expressions of approval and disapproval get determined based on comments provided by a user. The feedback includes identifying a person, an object, or a type of event that someone wants to get included in the collage.

The segmentation module may be operable to segment the video into video segments based on interesting moments. This segmentation module may be a set of instructions executable by the processor to feature the video. It may get stored in the computer's memory and can be accessible and executable by the processor.

Segmentation to Find Interesting Moments For Video Collages

And, the segmentation module generates video segments that include interesting moments. Where the interesting moment is associated with continual motion, the segmentation module may create a video segment with a beginning and an end. The segmentation module may identify a start and an intermediate endpoint of continual motion within the piece and pick a sub-segment that includes both these points. For example, if the video is of a girl doing many cartwheels, the start point may be the start of a first cartwheel, and the intermediate endpoint may be the end of the first cartwheel. In another example, the segmentation module may identify a segment based on different types of motion.

For example, a first sub-segment maybe a cartwheel, and a second subsegment may be a jumping celebration. Next, may determine how to generate the segment by including at least a particular number of interesting moments. For example, the segmentation module may create a video segment with a first interesting moment with a specific object in the first frames. It may show a second interesting moment with continual motion in a group of double frames and a third interesting moment that includes a person in a third frame. Also, the segmentation module may generate a video segment that is one to three seconds long.

The segmentation module may generate a video segment that includes many frames at different periods in the video. For example, the segmentation module may create a video segment that provides for many instances where people at a conference say “cloud computing” at different periods in the video.

The segmentation module generates video segments based on a theme. When a user specifies that interesting moments include a type of action, the segmentation module generates a video segment that consists of the interesting moments identified by the video processing module. For example, the segmentation module may show a video segment where a person rides a scooter in the video. The segmentation module may select many action instances to include in the video segment based on the interesting scores.

Ranking Interesting Moments To Choose For Video Collages

The segmentation module may rank the interesting moments based on their corresponding interesting scores and select many of the interesting moments based on the length of the video segment, such as three seconds, five seconds, twenty seconds, etc. For example, the segmentation module may select the top five most interesting moments based on the ranking because the total length of the five most interesting moments is under 20 seconds.

The segmentation module may determine markers that state different sections within the video and generate segments that include interesting moments within the units.

The sections may include:

• Different acts or scenes in a movie
• Different news segments in a news reporting show
• Different videos in a show about people filming dangerous stunts on video
• И Т. Д.

For example, the segmentation module may generate three video segments for a movie. The three segments represent the three acts in the film, and each segment includes interesting moments cut from the corresponding act. The markers may consist of metadata stating each section's start and end, black frames, white frames, a title card, a chapter card, etc.

The segmentation module verifies that the video segments are different from each other. For example, the segmentation module may determine that each video segment includes different objects, so the collage does not include video segments that look too similar.

The collage module may be operable to generate a collage from the video segments. The collage module can be a set of instructions executable by the processor to provide the functionality described below for generating the collage. The collage module can become stored in the computer's memory and accessible and executable by the processor.

The collage module receives video segments from the segmentation module. The collage module may retrieve the selected video segments from the storage device.

Generating Video Collages From Video Segments

The collage module may generate a collage from the video segments where the video segments get displayed in a single pane. The video collages may take many forms. For example, the collage module may generate video collages when at least two video segments are available. In another example, the collage module may create video collages when at least four video segments are available. The video segments may be displayed in square windows, in portrait windows (eg, if the video segment gets shot in portrait mode), in a landscape window (eg, if the video gets shot in landscape mode), and with different aspect ratios (eg, 16:9, 4:3, etc.).

The collage module may configure the aspect ratios and orientations based on the user device used to view the collage. For example, the collage module may use a 16:9 aspect ratio for high-definition televisions, a 1:1 aspect ratio for square displays or viewing areas, a portrait collage for a user device in a portrait orientation, and a vast collage (eg, 100:9) for wearables such as augmented reality and virtual reality displays.

The collage module may combine a predetermined number of video segments to form the collage. For example, the collage module may rank the video segments from most attractive to least interesting based on the interest scores and generate a collage based on the predetermined number of video segments that are the most interesting. The collage module may select video segments with interest scores that meet or exceed a predetermined collage value.

The collage module processes the video segments. For example, the collage module may convert the video segments to high dynamic range (HDR), black and white, sepia, etc.

The Layout and Ordering of Video Segments Based O Chronology

The collage module may layout and order the video segments based on chronology, interest scores, visual similarity, color similarity, and the length of time of each piece. Ordering the collage based on chronology may include the first video segment corresponding to the earliest time, the second video segment corresponding to the earliest time, etc. The collage module may order the video segments based on the interest scores by ranking the video segments from most attractive to least interesting based on the interest scores and order the collage based on the ranking. The collage module may arrange the video segments in a clockwise direction, counterclockwise guidance, or an arbitrary direction. Other configurations are possible.

The collage module generates instructions for the user interface module to create graphical data that renders the collage with video segments in windows of different sizes. The size of the windows may get based on interest scores for each of the video segments. For example, the video segment with an interest score that indicates that it is most interesting may have the largest window size.

Additionally, the size of the windows may get based on the length of the video segments. For example, the shortest video segment may correspond to the smallest window size. The collage module may determine window size based on an artistic effect. For example, the collage module may generate windows that resemble creative works from the De Stijl art movement. In particular, the collage module may create a collage with shapes that resemble a Piet Mondrian painting with different sized boxes and different line thicknesses that distinguish the separation between different video segments.

The collage module generates a collage that is a video file (eg, an animated GIF, an MPG, etc.) with associated code (eg, JavaScript) that recognizes user selection (eg, to move to the second collage in a hierarchy, to playback a specific segment, etc.). The collage module may link the video segments to a location in the video. Upon selecting one of the video segments, the video gets displayed in the video that corresponds to the piece. For example, each video segment in the collage may include a hyperlink to the corresponding location in the video.

Generating Video Collages by Meeting a Threshold Score

The collage module generates and displays a collage by determining video segments that meet a threshold score. It may evaluate display characteristics for the collage and identify window layouts that meet the display characteristics. It can also select a particular window layout, generate the collage, and cause the collage to get displayed.

A graphic representation gets illustrated. The graphical representation includes an example timeline of a video and a corresponding collage 310 generated from four interesting moments. The timeline represents an eight-minute video. The eight-minute video may be an ice skating competition where four different ice skating couples each have a two-minute demonstration. The video processing module identified four interesting moments labeled A, B, C, and D in this example.

The segmentation module generates four video segments where each video segment includes a corresponding interesting moment.

Interesting moment A may include a first couple executing a sustained edge step.

The interesting moment B may consist of a second couple where one of the skaters runs a triple axel jump.

The interesting moment C may include a third couple executing the sustained edge step.

And the interesting moment D may consist of a fourth couple executing a serpentine step sequence.

The video processing module may determine the interesting moments based on a user identifying the interesting moments, identifying continual motion, for example, a motion that occurs before the crowd starts cheering, or another technique.

The collage module generates a collage from the video segments. In this example, the collage module generates a collage that orders the video segments chronologically in a clockwise direction. Suppose a user selects one of the video segments.

The user interface module may cause the video to get displayed at the location in the video that corresponds to the time of the video segment.

For example, in the example depicted, if a user selects video segment D, a new window may appear that displays the video at the D location illustrated on the timeline near the end of the video.

A Graphic Representation of Another Example Video Collage

In this example, the collage includes 19 video segments. The collage module may generate the different sized windows for the collage based on the interest scores for each video segment and the length of the video segments. For example, a figure may represent a collage generated from a video of a news program. Video segment A may represent the feature news story for the news program, which is both the most interesting and the longest. As a result, video segment A gets described with the largest window. Video segments B, C, and H, represent other less interesting and shorter news segments. Lastly, video segments D, E, F, and G represent short snippets in the news program.

The collage module generates a hierarchical collage. Hierarchical collages may be helpful to, for example, present a limited number of video segments in a single window. Besides, the hierarchical collage may create an entertaining effect that helps users stay more engaged when so many video segments appear too crowded. The collage module may group the video segments based on the timing of the video segments or a type of interesting moment associated with the video segments.

The collage module may generate the first collages based on the groups. For example, the collage module may divide a video into three parts and develop the first collages for each video segment in the first, second, and last. In another example, a video may include tryouts and competitions. The collage module may group based on the type of interesting moment by distinguishing between tryouts and competitions.

The collage module may generate two first collages, one first collage for the video segments in the tryouts and one second for the video segments in the competitions. The representative segment may be the most extended video segment for a group. The representative segment may be a segment that includes a high amount of continual motion compared with other elements in the group. A combination of interest score, segment length, amount of continual movement, etc., may get used to select the representative segment.

The collage module may select a representative segment from the video segments associated with the first collages. The usual component may get based on the interest score for each of the video segments in the group. For example, continuing with the above example of a group of tryouts and a group of competitions, the collage module may select the most interesting tryout video segment to represent the tryout group's representative segment.

The collage module may generate a second collage that includes the representative segment for each of the groups. The standard components link to each of the corresponding first collages such that the selection of one of the usual segments causes the related first collage to be visible. The collage module may instruct the user interface module to generate graphical data that drives the second collage to open to display the corresponding first collage, replace the second collage with the first collage, or to causes all the first collages to get displayed.

The collage module configures the video segments in the collage to play automatically. Or additionally, the collages may have to get selected to play. The video segments may play at once or sequentially such that a first video segment plays, then a second video segment plays, etc. The video segments may play once or become configured to play on a continuous loop. A user may be able to configure automatic playback or other options as system settings.

The collage module configures the video segments to play at different frame rates. For example, video segment A may play at the standard speed of 24 FPS (frames per second), video segment B may play at a slower pace of 16 FPS, video segment C may play at a faster speed of 50 FPS, and video segment D may play at 24 FPS. The collage module selects the frame rate based on the content of the video segment. For example, the collage module may determine a slow frame rate for video segments when the rate of continual motion in the video segment is high, such as a video segment of a pitcher throwing a baseball. The collage module may select a faster frame rate when the rate of continual motion in part is low, such as a video segment of a person blowing out a candle or cutting a cake.

An Example Timeline And Hierarchical Video Collages

For example, the timeline represents a video of a meeting that includes presenters giving talks, attendees forming discussion groups, and closing remarks becoming presented. The collage module groups the video segments into three groups: group A represents a section where presenters talk, group B represents a section where people form discussion groups, and group C describes closing remarks.

Модуль коллажей генерирует два первых коллажа: один для группы A, которая включает четыре видеосегмента, и один для группы B, которая предоставляет три видеосегмента. Модуль коллажей генерирует второй коллаж, который включает репрезентативные детали для двух первых коллажей и видеосегмент для группы C. Второй коллаж может состоять из обычного компонента из каждой группы A, B и C.

Предположим, что пользователь выбирает репрезентативный сегмент для группы A. В этом случае модуль пользовательского интерфейса заставляет пользовательский интерфейс отображать первый коллаж для группы A, который включает в себя видеосегменты A1, A2, A3 и A4. Если пользователь выбирает видеосегмент A3, это заставляет пользовательский интерфейс отображать видео в месте, соответствующем A3 на временной шкале.

Модуль пользовательского интерфейса может предоставлять информацию пользователю. Этот модуль пользовательского интерфейса может быть набором инструкций, выполняемых процессором для обеспечения описанных ниже функций для предоставления информации пользователю. Модуль пользовательского интерфейса может храниться в памяти компьютера и быть доступным и исполняемым процессором.

Модуль пользовательского интерфейса может получать инструкции от других модулей в видеоприложении для генерации графических данных, используемых для отображения пользовательского интерфейса. Например, модуль пользовательского интерфейса может создавать пользовательский интерфейс, который отображает коллаж, созданный модулем коллажа.

Модуль пользовательского интерфейса может генерировать графические данные для отображения коллажей, которые связаны с полным видео. В ответ на щелчок пользователя по коллажу пользовательский интерфейс может отображать исходное видео или вызывать открытие новой веб-страницы, содержащей полное видео. Модуль пользовательского интерфейса предоставляет возможность загрузить коллаж на пользовательское устройство или передать коллаж в потоковом режиме с видеосервера.

Модуль пользовательского интерфейса может генерировать возможность для пользователя предоставлять обратную связь по коллажам. Например, модуль пользовательского интерфейса может создавать пользовательский интерфейс, который включает в себя кнопку обратной связи, которую пользователь может выбрать для просмотра раскрывающегося меню, содержащего объекты, которые пользователь хочет добавить в качестве явных интересов. Модуль пользовательского интерфейса может предоставлять вещи на основе меток, связанных с видеосегментами, используемыми для создания списка объектов, которые пользователь может выбрать как явные интересы.

Графическое представление пользовательского интерфейса, включающего раздел видео

В разделе видео модуль пользовательского интерфейса может получать от пользователя обозначение интересного момента. В этом примере модуль пользовательского интерфейса включает инструкции, информирующие пользователей о том, что пользователь может определить интересные моменты, щелкнув видео. В результате выбора пользователя модуль видеосегмента генерирует сегмент, включающий в себя интересный момент. Модуль коллажей создает коллаж, состоящий из фрагментов видео.

Рисунок также включает раздел коллажей, который состоит из коллажа. В этом примере пользователь выбирает одну из кнопок воспроизведения для просмотра соответствующего видеофрагмента. Пользовательский интерфейс также включает в себя опцию для обозначения одобрения видео с помощью кнопки +1 и кнопки общего доступа, которая позволяет пользователю поделиться коллажем. Например, модуль пользовательского интерфейса может сгенерировать возможность совместного использования коллажа через социальную сеть, с помощью электронной почты, через приложение чата и т. Д.

Пример метода создания видеоколлажа

Интересные моменты определяются в видео. Например, пользователь определяет интересные моменты, выбранные на основе непрерывного движения, объектов в видео и т. Д. Видео сегменты генерируются на основе интересных моментов, где каждый из сегментов видео включает в себя по крайней мере один из интересных моментов из видео. . Коллаж создается из сегментов видео, где коллаж состоит как минимум из двух окон, и каждое окно включает в себя один из сегментов видео.

Создание иерархического видеоколлажа

Действия могут быть выполнены видеоприложением.

Видеоколлажи создаются на основе интересных моментов.

Интересные моменты определяются в видео.

Отрезки видео группируются в группы.

Создаются два или более первых видеоколлажа, каждый из которых соответствует одной из двух или более групп. Каждый из первых видеоколлажей включает не менее двух видеосегментов. Репрезентативный компонент выбирается для каждой группы как минимум из двух видеосегментов каждого из первых коллажей. Создается второй коллаж, который включает обычный сегмент для каждой группы. Второй коллаж связан с соответствующим первым коллажем, который содержит как минимум два видеофрагмента в связанной группе.