Collages de videos con momentos interesantes
Publicado: 2021-09-30Collages de fotos y collages de videos
Es posible que veamos collages de videos en hardware asociado con Google que genera videos. Las fotos de Google han tenido una función de collage, y puedo visitar y ver collages de imágenes de las ubicaciones exactas, todas juntas. Existe una forma de etiquetar los "momentos clave" de los videos mediante el marcado de esquema para que los resultados de búsqueda en Google puedan apuntar a los momentos clave de los videos (muy recomendable). Una patente reciente de Google describe la realización de collages de video y se refiere a "momentos interesantes" en esos videos. No nos dice la diferencia entre un momento clave en un video y momentos interesantes en collages de videos de múltiples videos.
Pero describe por qué podría hacer collages de video:
Actualmente hay mil millones de teléfonos inteligentes en uso. Existe un potencial de crecimiento siete veces mayor en el futuro. Los teléfonos inteligentes se utilizan para capturar y consumir contenido, como fotos y videos. Los videos transmiten más que fotos porque capturan la variación temporal. Sin embargo, es menos probable que las personas vean videos porque no todas las partes del video son interesantes.
La descripción de antecedentes de esta patente presenta el contexto de esta patente.
Generación de collages de videos
Esta patente se refiere a momentos interesantes en videos en contraposición a momentos clave en videos. Hay muchas páginas de ayuda sobre cómo marcar momentos clave en videos, pero ninguna dice que señalen momentos interesantes. Pero sí apuntan a momentos que son designados como interesantes por las personas que publican esos videos. La Patente de Video Collages sí diseña un marco que describe cómo se pueden construir los collages de video, lleno de momentos interesantes.
Uso de esquema para etiquetar momentos clave en videos en los resultados de búsqueda
Cuando encontré esta patente, me acordé de la publicación del desarrollador de Google sobre la implementación del marcado SeektoAction: una nueva forma de habilitar momentos clave de video en la búsqueda. En resumen, funciona así:
Hoy, presentamos una nueva forma de habilitar momentos clave para los videos en su sitio sin el esfuerzo de etiquetar manualmente cada segmento. Todo lo que tienes que hacer es decirle a Google el patrón de URL para saltar a una marca de tiempo específica dentro de tu video. Luego, Google usará inteligencia artificial para identificar momentos clave en el video y mostrar enlaces directamente a esos momentos en los resultados de búsqueda.
También me acordé de las personas que me hacían preguntas sobre los "momentos clave" que se encuentran en los videos de Youtube. Hay una publicación en el blog de Google sobre este tema: La búsqueda lo ayuda a encontrar momentos clave en videos Lo que nos dice rápidamente es que:
A partir de hoy, puede encontrar momentos clave en los videos y acceder a la información que busca más rápido, con la ayuda de los creadores de contenido.
Cuando busque cosas como videos instructivos con varios pasos o videos largos como discursos o un documental, la búsqueda proporcionará enlaces a momentos clave dentro del video, según las marcas de tiempo proporcionadas por los creadores de contenido.
Escaneará fácilmente para ver si un video tiene lo que está buscando y encontrará la sección relevante del contenido.
Para las personas que usan lectores de pantalla, este cambio también hace que el contenido de video sea más accesible.
Esta página de desarrollador de Google nos informa sobre esas marcas de tiempo: obtenga videos en Google con marcado de esquema
Las implementaciones de la patente se relacionan con un método implementado por computadora para generar un collage. El método incluye determinar momentos emocionantes en un video. El método comprende además generar segmentos de video basados en los momentos emocionantes, donde cada uno de los segmentos de video tiene al menos uno de los momentos emocionantes del video. El método incluye además generar un collage a partir de los segmentos de video, donde el collage comprende al menos dos ventanas, y cada ventana contiene uno de los segmentos de video.
También encontré un artículo de Search Engine Land sobre los momentos clave en los videos, que nos dice que: Google lanza oficialmente SeekToAction para los momentos clave de los videos en la búsqueda.
También encontré esta página de soporte en Youtube sobre la retención de la audiencia: Mida los momentos clave para la retención de la audiencia.
Los momentos clave en los videos pueden ser similares a los momentos interesantes en los collages de videos
La patente proporciona mucha información sobre momentos interesantes.
Las operaciones de la patente de collages de video incluyen además recibir una selección de los segmentos de video en el collage y hacer que se muestre el video que corresponde a la selección.
Determinar los momentos interesantes en un video incluye:
- Identificación de audio en el video
- Citar un tipo de acción asociada con el audio en el video
- Generar una puntuación de interés para cada tipo de audio en el video
- Determinar los momentos interesantes en función de la puntuación de interés para cada tipo de audio en el video.
- Decidir sobre los momentos interesantes del video incluye:
- Observando movimiento en el video
- Encontrar el tipo de acción asociada con el movimiento continuo en el video
- Crear una puntuación de interés para cada tipo de acción en el video.
- Localizar los momentos interesantes según la puntuación de interés para cada tipo de acción en el video
Los segmentos de video en el collage se configuran para reproducirse automáticamente. Al menos un primer segmento de los segmentos de video en el collage se configura para reproducirse a una velocidad de fotogramas diferente a la de otros segmentos de video en el collage.
La unión de los collages de video de los segmentos de video incluye la generación de datos gráficos que representan el collage con segmentos de video en ventanas de diferentes tamaños. Las ventanas pueden obtener en función de las puntuaciones de interés de los segmentos de video, la duración de cada segmento de video y un efecto artístico.
Realización de collages de vídeos de momentos interesantes
Un método implementado por computadora para generar un collage jerárquico incluye:
- Encontrar momentos interesantes en un video
- Incluyendo segmentos de video basados en momentos interesantes
- Agrupar los segmentos de video en grupos
- Realización de primeros collages, cada uno correspondiente a uno respectivo de los grupos y cada uno de los primeros collages incluyendo al menos dos segmentos de video.
- Seleccionar un segmento representativo para cada uno de los grupos de los al menos dos segmentos de video de cada uno de los dos o más primeros collages
- Mostrando un segundo collage que incluye el segmento representativo de cada uno de los grupos, donde el segmento representativo en el segundo collage enlaza con un primer collage correspondiente que incluye al menos dos segmentos de video que se incluyen en un grupo correspondiente
- Elegir una selección de los segmentos representativos en el segundo collage y hacer que se muestre el primer collage correspondiente
- La recopilación de los segmentos de video en grupos se basa en el tiempo de cada uno de los segmentos de video o la agrupación de los segmentos de video en grupos se basa en un tipo de momento interesante asociado con cada uno de los segmentos de video.
- Derivar una puntuación de interés para los momentos interesantes y seleccionar al representante para cada uno de los grupos
puede obtener según la puntuación de interés
Un método comprende medios para:
- Determinar momentos interesantes en un video
- Generar segmentos de video basados en los momentos interesantes, donde cada uno de los segmentos de video incluye al menos uno de los momentos interesantes del video.
- Crear un collage a partir de los segmentos de video, en el que el collage incluye al menos dos ventanas y en el que cada ventana incluye uno de los segmentos de video.
El sistema y los métodos descritos a continuación resuelven el problema de identificar momentos emocionantes en un video al generar un collage que incluye segmentos de video de los momentos emocionantes.
La patente de los collages de vídeos de los momentos interesantes
La patente de Video Collages se encuentra en:
Collage de momentos interesantes en un video
Inventores: Sharadh Ramaswamy, Matthias Grundmann y Kenneth Conley
Cesionario: Google LLC
Patente de EE. UU.: 11,120,835
Concedido: 14 de septiembre de 2021
Archivado: 17 de diciembre de 2018
Abstracto
Un método implementado por computadora incluye la determinación de momentos interesantes en un video. El método incluye además generar segmentos de video basados en los momentos interesantes, en donde cada uno de los segmentos incluye al menos uno de los momentos interesantes del video. El método incluye además generar un collage a partir de los segmentos de video, donde el collage incluye al menos dos ventanas y donde cada ventana incluye uno de los segmentos de video.
La patente nos dice que es más probable que los buscadores vean un video si pueden obtener una vista previa de los momentos interesantes en los videos y navegar directamente a esos momentos emocionantes en el video.
Aquí se describe una aplicación de video:
- Encuentra momentos interesantes en un video
- Crea segmentos de video basados en los momentos interesantes.
- Hace un collage a partir de los segmentos de video que incluyen los segmentos de video en un solo panel
Por ejemplo, un video puede tener un primer segmento de video de un niño riendo, un segundo segmento de video de un perro corriendo detrás del niño y un tercer segmento de video del niño soplando un pastel de cumpleaños.
Cómo se generan los collages de video
La aplicación de video puede generar collages de video que muestren ciclos cortos, por ejemplo, de dos a tres segundos de duración, del primer, segundo y tercer segmento de video. Las velocidades de fotogramas de cada uno de los segmentos de video pueden diferir. Por ejemplo, el primer segmento de video puede incluir un video en cámara lenta, el segundo segmento de video puede consistir en un video en cámara rápida y el tercer segmento de video puede incluir un segmento de video de velocidad normal.
Cuando un usuario selecciona uno de los segmentos de video en el collage, la aplicación puede hacer que se muestre el video que corresponde a la parte seleccionada. Por ejemplo, si el primer segmento de video ocurre a las 2:03 minutos, la selección del usuario hace que el video se reproduzca a las 2:03 minutos.
La aplicación de video puede generar un collage jerárquico. La aplicación de video puede determinar momentos emocionantes en un video. Luego, podría crear segmentos de video basados en los momentos emocionantes.
Podría agrupar los segmentos de video en grupos y generar primeros collages basados en los grupos. A continuación, podría seleccionar una pieza representativa para cada grupo y generar un segundo collage que incluya un segmento habitual para cada grupo.
Los grupos pueden basarse en el tiempo o en un tipo de momento interesante asociado con cada segmento de video. Continuando con el ejemplo anterior, un primer grupo podría incluir un primer segmento de video de un niño riendo, un segundo segmento de video de un perro corriendo detrás del niño y un tercer segmento de video del niño soplando un pastel de cumpleaños que ocurren en el primer tercio del video.
Esta aplicación de video también puede generar una puntuación de interés para cada segmento de video y seleccionar el segmento representativo en función de la puntuación de interés. Por ejemplo, el tercer segmento de video del niño soplando el pastel de cumpleaños puede tener una puntuación de interés indicativa del segmento de video más interesante. Como resultado, la aplicación de video puede seleccionar el tercer segmento como segmento representativo para el primer grupo en el primer collage.
Cuando un usuario selecciona uno de los segmentos habituales en el segundo collage, la aplicación de video puede hacer que se muestre el primer collage.
Una aplicación de ejemplo que genera collages de videos
Esta patente trata sobre una aplicación que incluye un servidor de video, dispositivos de usuario, un segundo servidor y una red. Parece que podría generar collages de video con una variedad de dispositivos de hardware, y es posible que se haya dejado abierta a propósito para hardware sin desarrollar.
Los usuarios pueden asociarse con sus respectivos dispositivos de usuario. El método puede incluir otros servidores o dispositivos.
Las entidades del sistema se acoplan a través de una red. La red puede ser convencional: cableada o inalámbrica, y puede tener muchas configuraciones diferentes, incluida una configuración en estrella, una configuración en anillo u otras configuraciones. Además, la red puede incluir una red de área local (LAN), una red de área extensa (WAN) (por ejemplo, Internet) y otras rutas de datos interconectadas a través de las cuales se pueden comunicar muchos dispositivos.
La base de datos puede almacenar videos creados o cargados por usuarios asociados con dispositivos de usuario y collages generados a partir de videos.
La base de datos puede almacenar videos desarrollados independientemente de los dispositivos del usuario.
La base de datos también puede almacenar datos de redes sociales asociados con los usuarios.
El dispositivo de usuario puede ser una computadora con memoria y un procesador de hardware, como una cámara, una computadora portátil, una computadora de escritorio, una tableta, un teléfono móvil, un dispositivo portátil, una pantalla montada en la cabeza. El procesador de hardware también podría ser un dispositivo de correo electrónico móvil, un reproductor de juegos portátil, un reproductor de música portátil, un dispositivo lector, un televisor con procesadores integrados o acoplados a él, u otro dispositivo electrónico capaz de acceder a una red.
El dispositivo del usuario se acopla a la red a través de una línea de señal. Una línea de señal puede ser una conexión por cable, como Ethernet, cable coaxial, cable de fibra óptica, etc., o una conexión inalámbrica, como Wi-Fi.RTM., Bluetooth.RTM. U otra tecnología inalámbrica. Los usuarios acceden a los dispositivos de usuario, respectivamente.
Ejemplos de dispositivos de usuario utilizados para crear collages de video
El dispositivo del usuario puede ser un dispositivo móvil que se incluye en un dispositivo portátil que lleva el usuario. Por ejemplo, el dispositivo del usuario se incluye como parte de un clip (por ejemplo, una pulsera), parte de una joyería o parte de un par de anteojos. En otro ejemplo, el dispositivo del usuario puede ser un reloj inteligente. El usuario puede ver imágenes de la aplicación de video en una pantalla del dispositivo que lleva puesto el usuario. Por ejemplo, el usuario puede ver las imágenes en un reloj inteligente o en una pantalla de pulsera inteligente.
La aplicación de video puede ser una aplicación independiente que se almacena en el dispositivo del usuario. La aplicación de video puede almacenarse en parte en el dispositivo del usuario y el servidor de video. Por ejemplo, la aplicación de video puede incluir una aplicación de video de cliente ligero almacenada en el dispositivo de usuarioa y una aplicación de video almacenada en el servidor de video.
La aplicación de videob almacenada en el dispositivo del usuario puede grabar video transmitido a la aplicación de video almacenada en el servidor de video. Se genera un collage a partir del video. La aplicación de video puede enviar el collage a la aplicación de video para mostrarlo en el dispositivo del usuario. En otro ejemplo, la aplicación de video almacenada en el dispositivo de usuarioa puede generar el collage y enviar el collage a la aplicación de video almacenada en el servidor de video. La aplicación de video almacenada en el servidor de video puede incluir los mismos componentes o componentes diferentes que la aplicación de video almacenada en el dispositivo del usuario.
La aplicación de video puede ser una aplicación independiente almacenada en el servidor de video. Un usuario puede acceder a la aplicación de video a través de una página web usando un navegador u otro software en el dispositivo del usuario. Por ejemplo, los usuarios pueden cargar un video almacenado en el dispositivo o desde el segundo servidor a la aplicación de video para generar un collage.
El segundo servidor puede incluir un procesador, una memoria y capacidades de comunicación en red. El segundo servidor es un servidor de hardware. El segundo servidor envía y recibe datos desde y hacia el servidor de video y los dispositivos del usuario a través de la red.
El segundo servidor puede proporcionar datos a la aplicación de video. Por ejemplo, el segundo servidor puede ser un servidor separado que genera videos utilizados por la aplicación de video para crear collages. En otro ejemplo, el segundo servidor puede ser un servidor de red social que mantiene una red social donde los collages pueden ser compartidos por un usuario con otros usuarios de redes sociales. En otro ejemplo más, el segundo servidor puede incluir software de procesamiento de video que analiza videos para identificar objetos, rostros, eventos, un tipo de acción, texto, etc. El segundo servidor puede asociarse con la misma compañía que mantiene el servidor de video o un empresa diferente.
Collages de videos con información de la entidad adjunta
Siempre que un usuario consienta el uso de dichos datos, el segundo servidor puede proporcionar a la aplicación de video información de perfil o imágenes que la aplicación de video puede usar para identificar a una persona en una foto con un perfil de red social correspondiente. En otro ejemplo, el segundo servidor puede proporcionar a la aplicación de video información relacionada con las entidades identificadas en las imágenes utilizadas por la aplicación de video.
Por ejemplo, el segundo servidor puede incluir una enciclopedia electrónica que proporcione información sobre los puntos de referencia identificados en las fotos. Este sitio web de compras electrónicas proporciona información para las entidades compradoras identificadas en las imágenes. Esta aplicación de calendario electrónico ofrece, sujeto al consentimiento del usuario, un nombre de evento asociado con un video, una aplicación de mapa que proporciona información sobre una ubicación asociada con un video, etc.
Los sistemas y métodos discutidos en este documento recopilan, almacenan y usan información personal del usuario solo después de recibir la autorización explícita de los usuarios relevantes. Por ejemplo, un usuario controla si los programas o funciones recopilan información del usuario sobre ese usuario en particular u otros usuarios se aplican al programa o parte. Los usuarios tienen la información pertinente a ese usuario y si la información se administra y cuál se recopila.
Por ejemplo, los usuarios pueden obtener opciones de control. Los datos específicos pueden tratarse de diversas formas antes de que se almacenen o utilicen para eliminar información de identificación personal. Por ejemplo, la identidad de un usuario puede ser tratada para determinar que no hay información de identificación personal. Como otro ejemplo, la ubicación geográfica de un usuario puede generalizarse a una región más grande de modo que no se pueda determinar la ubicación particular del usuario.
Una computadora de ejemplo que genera collages de videos
La computadora puede ser un servidor de video o un dispositivo de usuario.
La computadora puede incluir un procesador, una memoria, una unidad de comunicación, una pantalla y un dispositivo de almacenamiento.
Una aplicación de video puede almacenarse en la memoria.
La aplicación de video incluye un módulo de procesamiento de video, un módulo de segmentación, un módulo de collage y un módulo de interfaz de usuario. Son posibles otros módulos y configuraciones.
El módulo de procesamiento de video puede funcionar para determinar momentos emocionantes en un video. El módulo de procesamiento de video puede ser un conjunto de instrucciones ejecutables por el procesador para decidir momentos emocionantes en el video. El módulo de procesamiento de video puede almacenarse en la memoria de la computadora y ser accesible y ejecutable por el procesador.
El módulo de procesamiento de video puede almacenarse en un dispositivo que es el servidor de video. El módulo de procesamiento de video puede recibir el video de la aplicación de video almacenada en el dispositivo del usuario. El módulo de procesamiento de video puede recibir el video de un segundo servidor, que almacena películas o programas de televisión.
El módulo de procesamiento de video determina momentos emocionantes en el video asociado con un usuario. El módulo de procesamiento de video puede identificar los momentos emocionantes y elegir los momentos interesantes según la etiqueta. Por ejemplo, el módulo de interfaz de usuario puede generar una interfaz de usuario que incluye una opción para que el usuario seleccione cuadros, por ejemplo, haciendo clic en los estantes del video para identificar momentos interesantes. El módulo de procesamiento de video puede asociar metadatos con el video que incluye ubicaciones de tiempo para los momentos interesantes colocados por el usuario. El módulo de procesamiento de video puede recibir una señal de lo que forma un momento interesante por parte de un usuario. Por ejemplo, el usuario puede especificar que los momentos interesantes incluyen personas en el video que dicen una frase en particular o que hablan sobre un tema específico.
Procesamiento de video Encontrar momentos interesantes
El módulo de procesamiento de video determina momentos interesantes al identificar el audio en el video. El módulo de procesamiento de video puede determinar el tipo de audio en el video. Por ejemplo, el módulo de procesamiento de video puede clasificar el audio asociado con música, aplausos, risas, abucheos, etc. El módulo de procesamiento de video puede determinar el nivel de volumen del audio. Por ejemplo, en un video de un juego de baloncesto, un aumento en el audio de los vítores y los abucheos puede asociarse con un momento interesante, como un jugador de baloncesto que falla un tiro.
El módulo de procesamiento de video puede generar una puntuación de interés para cada tipo de movimiento en función del tipo de audio. Por ejemplo, el módulo de procesamiento de video puede desarrollar una puntuación de interés que indique que el momento es interesante basado en el comienzo de la música o la risa. El módulo de procesamiento de video puede generar una puntuación de interés que significa que el momento no es interesante debido a una tos o un ruido de fondo general. El módulo de procesamiento de video puede determinar el momento interesante en función de la puntuación de interés para cada tipo de audio en el video.
El módulo de procesamiento de video determina momentos interesantes identificando el movimiento continuo en el video e identificando un tipo de acción asociada con el movimiento constante en el video. El módulo de procesamiento de video puede determinar la actividad clasificando píxeles en un cuadro de imagen como fondo o primer plano.
El módulo de procesamiento de video puede clasificar todos los cuadros de imagen o un subconjunto de cuadros de imagen del video.
El módulo de procesamiento de video identifica el fondo y el primer plano en un subconjunto de cuadros de imagen basándose en el tiempo de los cuadros de imagen. El subconjunto puede incluir algunas o todas las estructuras intracodificadas (I-frames) del video. Por ejemplo, el módulo de procesamiento de video puede realizar una clasificación en cada tercer cuadro del video. En otro ejemplo, el módulo de procesamiento de video puede realizar una clasificación en un subconjunto de cuadros en el video, por ejemplo, solo cuadros I, cuadros I y algunos o todos los cuadros de imagen predichos (cuadros P), etc.
Comparación de movimiento de primer plano en segmentos de video
Ese módulo de procesamiento de video puede comparar el primer plano en muchos cuadros de imagen de video para identificar el movimiento del primer plano. Por ejemplo, el módulo de procesamiento de video puede usar diferentes técnicas para identificar la actividad en primer plano, como diferenciación de cuadros, filtrado de mediana adaptativo y sustracción de fondo. Este proceso identifica ventajosamente el movimiento de objetos en primer plano. Por ejemplo, en un video de una persona haciendo una voltereta lateral afuera, el módulo de procesamiento de video puede ignorar el movimiento en el fondo, como balancear los árboles con el viento. Aún así, el módulo de procesamiento de video identifica a la persona que realiza la voltereta porque la persona está en primer plano.
Y el módulo de procesamiento de video puede analizar el video para determinar la acción asociada con el movimiento continuo. Por ejemplo, el módulo de procesamiento de video puede usar un vector basado en el movimiento continuo para comparar el movimiento constante con el movimiento continuo en los videos disponibles. El módulo de procesamiento de video puede usar el vector t, identificar a una persona que pasea a un perro, golpear a otra persona, pescar un pez, etc. En otro ejemplo, el módulo de procesamiento de video puede realizar un reconocimiento de imágenes para identificar objetos y tipos de movimiento asociados con las cosas. en otros videos pasados para identificar la acción.
Por ejemplo, el módulo de procesamiento de video identifica un trampolín. Determina que una persona está saltando en el trampolín basándose en que los trampolines se asocian con el salto, un pastel se asocia con cortar o soplar un pastel de cumpleaños, los esquís se asocian con el esquí, etc. El módulo de procesamiento de video puede asociar metadatos con el video que incluye marcas de tiempo de cada tipo de acción. Por ejemplo, el módulo de procesamiento de video puede generar metadatos que identifiquen una marca de tiempo de cada instancia de una persona que conduce un scooter en el video.
Momentos interesantes basados en movimiento continuo en videos
Además, el módulo de procesamiento de video puede determinar un momento interesante en función de la acción asociada con el movimiento continuo. Por ejemplo, el módulo de procesamiento de video puede determinar que un video incluye a un usuario montado en una patineta. El módulo de procesamiento de video genera una puntuación de interés en función del tipo de acción. El módulo de procesamiento de video puede desarrollar una puntuación de interés que se corresponda con el acto de andar en patineta. El módulo de procesamiento de video puede asignar la puntuación de interés en función de la calidad de la acción. Por ejemplo, el módulo de procesamiento de video puede dar una puntuación de interés que indica un momento más interesante cuando los cuadros con el movimiento muestran:
- Una persona con rostro visible
- Bordes donde la calidad de las imágenes es alta
Estos se basarían en la visibilidad de la acción, la iluminación, el desenfoque y la estabilidad del video.
Con el consentimiento del usuario, el módulo de procesamiento de video puede generar la puntuación de interés según las preferencias del usuario. Por ejemplo, si un usuario ha expresado interés en andar en patineta, el módulo de procesamiento de video genera una puntuación de interés que indica que el usuario encuentra que andar en patineta es agradable. El usuario proporciona intereses explícitos que el módulo de procesamiento de video agrega a un perfil de usuario asociado con el usuario. Cuando el usuario da su consentimiento para el análisis del comportamiento implícito, el módulo de procesamiento de video determina los tipos de acciones para agregar al perfil del usuario en función del comportamiento implícito, como proporcionar indicaciones de aprobación para los medios asociados con los tipos de actividades.
Reconocimiento de objetos en objetos en collages de video
El módulo de procesamiento de video puede realizar el reconocimiento de objetos para identificar objetos en el video. Con el consentimiento del usuario, el módulo de procesamiento de video puede realizar un reconocimiento de objetos que incluye identificar una cara en el video y determinar una identidad de la cara. El módulo de procesamiento de video puede comparar un cuadro de imagen de la cara con imágenes de personas, alcanzar el cuadro de imagen a otros miembros que usan la aplicación de video, etc. Con el consentimiento del usuario, el módulo de procesamiento de video puede solicitar información de identificación del segundo servidor.
Por ejemplo, el segundo servidor puede mantener una red social. El módulo de procesamiento de video puede solicitar imágenes de perfil u otros usuarios de redes sociales conectados al usuario asociado con el video. Con el consentimiento del usuario, el módulo de procesamiento de video puede usar técnicas de reconocimiento facial para personas en cuadros de imagen del video para identificar personas relacionadas con los rostros.
El módulo de procesamiento de video puede generar metadatos que incluyen la identificación de los objetos y las marcas de tiempo de cuándo aparecen las cosas en el video. Por ejemplo, los metadatos pueden consistir en etiquetas que identifican un tipo de objeto o persona. Si el usuario ha dado su consentimiento, el módulo de procesamiento de video puede generar metadatos que incluyen la identificación de personas y marcas de tiempo cuando las personas aparecen en el video. Por ejemplo, para un video de la hija del usuario, el módulo de procesamiento de video puede generar metadatos que identifican cada vez que la hija aparece en el video y marca de tiempo e identifica los objetos con los que la hija interactúa dentro del video.
El módulo de procesamiento de video genera una puntuación de interés para identificar un tipo de objeto o una persona en el video. El módulo de procesamiento de video puede comparar una variedad de objetos con una lista de cosas positivas y una lista de objetos dañinos que incluyen objetos que se reconocen comúnmente como positivos y negativos, respectivamente.
Cuando el usuario da su consentimiento a los datos del usuario, el módulo de procesamiento de video asigna la puntuación de interés en función de la información de personalización para un usuario asociado con el video. Por ejemplo, con el consentimiento del usuario, el módulo de procesamiento de video mantiene un gráfico social y genera el puntaje de interés basado en una relación entre el usuario y una persona en el video identificada usando el gráfico social.
Personalización y reacciones del usuario al video
El módulo de procesamiento de video puede determinar información de personalización, sujeto al consentimiento del usuario, en base a datos detallados proporcionados por el usuario, información implícita encontrada en las reacciones del usuario a los videos, como comentarios proporcionados en sitios web de videos, actividad en aplicaciones de redes sociales, etc. El módulo de procesamiento de video determina las preferencias del usuario en función de los tipos de videos asociados con el usuario. Por ejemplo, el módulo de procesamiento de video puede determinar que el usuario prefiere videos sobre deportes basados en que el usuario crea o mira videos que incluyen diferentes tipos de deportes, como béisbol, baloncesto, etc.
El módulo de procesamiento de video puede determinar un evento asociado con el video. El módulo de procesamiento de video puede determinar el evento basándose en los metadatos asociados con el video. Por ejemplo, los metadatos pueden incluir una fecha y una ubicación asociadas con el video. El módulo de procesamiento de video puede usar la fecha y la ubicación para recuperar información, por ejemplo, de un segundo servidor, sobre qué evento ocurrió en esa fecha y hora. Cuando el usuario da su consentimiento a los metadatos, el módulo de procesamiento de video puede usar metadatos que identifican objetos y personas en el video para determinar el evento.
Por ejemplo, el módulo de procesamiento de video puede determinar que el evento fue un concierto basándose en la identificación de multitudes de personas en el video. Los objetos particulares pueden asociarse con circunstancias específicas. Por ejemplo, los pasteles se asocian con cumpleaños y bodas. El baloncesto se asocia con una cancha, etc. En otro ejemplo, las personas pueden relacionarse con eventos, como personas que visten uniformes con circunstancias específicas durante el horario escolar, personas sentadas en bancos con una reunión de la iglesia, personas alrededor de una mesa con platos para cenar, etc. El módulo de procesamiento de video puede generar una puntuación emocionante basada en el tipo de evento identificado en el video.
El módulo de procesamiento de video puede usar más fuentes de datos para identificar el evento. Por ejemplo, el módulo de procesamiento de video puede determinar la fecha, la hora y la ubicación donde se tomó el video en función de los metadatos asociados con el video y, con el consentimiento del usuario, solicitar información del evento asociada con los datos y la hora desde una aplicación de calendario. asociado con el usuario. El módulo de procesamiento de video puede solicitar la información del evento de un segundo servidor que administra la aplicación de calendario.
Eventos de videos determinados a partir de información disponible públicamente
El módulo de procesamiento de video puede determinar el evento a partir de la información disponible públicamente. Por ejemplo, el módulo de procesamiento de video puede usar la fecha, la hora y la ubicación asociadas con el video para determinar que el video es de un partido de fútbol. El módulo de procesamiento de video puede asociar metadatos con el video que incluye información de identificación para el evento.
El módulo de procesamiento de video puede transcribir el audio a texto e identificar un momento interesante según el lector. El módulo de procesamiento de video puede generar metadatos que identifican una marca de tiempo para cada instancia en la que un usuario pronunció una palabra específica. Por ejemplo, cuando el video es de discursos pronunciados en una conferencia sobre computación en la nube, el módulo de procesamiento de video puede identificar una marca de tiempo para cada ubicación donde un orador dijo "el futuro". El módulo de procesamiento de video puede usar el audio como señal de un momento interesante. Por ejemplo, para eventos deportivos u otras competiciones, el módulo de procesamiento de video puede identificar cuándo una multitud comienza a vitorear y determinar el movimiento continuo que ocurrió justo antes de los aplausos, incluido un momento interesante.
El módulo de procesamiento de vídeo puede determinar si la puntuación de interés alcanza o supera un valor de segmentación umbral. Suponga que una parte del video incluye una puntuación de interés que alcanza o supera el valor de segmentación del umbral. En ese caso, el módulo de procesamiento de video puede instruir al módulo de segmentación para generar un segmento de video que consiste en el momento interesante. Es posible que las partes del video que no cumplan o superen el valor de segmentación del umbral no se identifiquen como que incluyen un momento interesante.
Más información sobre las puntuaciones de interés de los posibles segmentos de vídeo
The video processing module may apply interest scores on a scale, such as from 1 to 10. The interest score may get based on a combination of factors identified in the partn of the video. For example, the video processing module may generate an interest score based on the part of the video, including an event, an object, and a person.
The video processing module may receive feedback from a user and change the user profile to modify the interest score accordingly. For example, if a user provides a sign of approval (eg, a thumbs up, a +1, a like, saving a collage to the user's media library, etc.) of a collage that includes a video on new types of wearables, the video processing module may add wearables in a list of positive objects.
In another example, the user may explicitly state that the user enjoys collages where the event type is a rock show. The video processing module may update personalization information associated with the user, such as a user profile, to include the rock show as a preferred event type. The feedback consists of an indication of disapproval (a thumbs down, a -1, a dislike, etc.). The expressions of approval and disapproval get determined based on comments provided by a user. The feedback includes identifying a person, an object, or a type of event that someone wants to get included in the collage.
The segmentation module may be operable to segment the video into video segments based on interesting moments. This segmentation module may be a set of instructions executable by the processor to feature the video. It may get stored in the computer's memory and can be accessible and executable by the processor.
Segmentation to Find Interesting Moments For Video Collages
And, the segmentation module generates video segments that include interesting moments. Where the interesting moment is associated with continual motion, the segmentation module may create a video segment with a beginning and an end. The segmentation module may identify a start and an intermediate endpoint of continual motion within the piece and pick a sub-segment that includes both these points. For example, if the video is of a girl doing many cartwheels, the start point may be the start of a first cartwheel, and the intermediate endpoint may be the end of the first cartwheel. In another example, the segmentation module may identify a segment based on different types of motion.
For example, a first sub-segment maybe a cartwheel, and a second subsegment may be a jumping celebration. Next, may determine how to generate the segment by including at least a particular number of interesting moments. For example, the segmentation module may create a video segment with a first interesting moment with a specific object in the first frames. It may show a second interesting moment with continual motion in a group of double frames and a third interesting moment that includes a person in a third frame. Also, the segmentation module may generate a video segment that is one to three seconds long.
The segmentation module may generate a video segment that includes many frames at different periods in the video. For example, the segmentation module may create a video segment that provides for many instances where people at a conference say “cloud computing” at different periods in the video.
The segmentation module generates video segments based on a theme. When a user specifies that interesting moments include a type of action, the segmentation module generates a video segment that consists of the interesting moments identified by the video processing module. For example, the segmentation module may show a video segment where a person rides a scooter in the video. The segmentation module may select many action instances to include in the video segment based on the interesting scores.
Ranking Interesting Moments To Choose For Video Collages
The segmentation module may rank the interesting moments based on their corresponding interesting scores and select many of the interesting moments based on the length of the video segment, such as three seconds, five seconds, twenty seconds, etc. For example, the segmentation module may select the top five most interesting moments based on the ranking because the total length of the five most interesting moments is under 20 seconds.
The segmentation module may determine markers that state different sections within the video and generate segments that include interesting moments within the units.
The sections may include:
- Different acts or scenes in a movie
- Different news segments in a news reporting show
- Different videos in a show about people filming dangerous stunts on video
- Etc.
For example, the segmentation module may generate three video segments for a movie. The three segments represent the three acts in the film, and each segment includes interesting moments cut from the corresponding act. The markers may consist of metadata stating each section's start and end, black frames, white frames, a title card, a chapter card, etc.
The segmentation module verifies that the video segments are different from each other. For example, the segmentation module may determine that each video segment includes different objects, so the collage does not include video segments that look too similar.
The collage module may be operable to generate a collage from the video segments. The collage module can be a set of instructions executable by the processor to provide the functionality described below for generating the collage. The collage module can become stored in the computer's memory and accessible and executable by the processor.
The collage module receives video segments from the segmentation module. The collage module may retrieve the selected video segments from the storage device.
Generating Video Collages From Video Segments
The collage module may generate a collage from the video segments where the video segments get displayed in a single pane. The video collages may take many forms. For example, the collage module may generate video collages when at least two video segments are available. In another example, the collage module may create video collages when at least four video segments are available. The video segments may be displayed in square windows, in portrait windows (eg, if the video segment gets shot in portrait mode), in a landscape window (eg, if the video gets shot in landscape mode), and with different aspect ratios (eg, 16:9, 4:3, etc.).
The collage module may configure the aspect ratios and orientations based on the user device used to view the collage. For example, the collage module may use a 16:9 aspect ratio for high-definition televisions, a 1:1 aspect ratio for square displays or viewing areas, a portrait collage for a user device in a portrait orientation, and a vast collage (eg, 100:9) for wearables such as augmented reality and virtual reality displays.
The collage module may combine a predetermined number of video segments to form the collage. For example, the collage module may rank the video segments from most attractive to least interesting based on the interest scores and generate a collage based on the predetermined number of video segments that are the most interesting. The collage module may select video segments with interest scores that meet or exceed a predetermined collage value.
The collage module processes the video segments. For example, the collage module may convert the video segments to high dynamic range (HDR), black and white, sepia, etc.
The Layout and Ordering of Video Segments Based O Chronology
The collage module may layout and order the video segments based on chronology, interest scores, visual similarity, color similarity, and the length of time of each piece. Ordering the collage based on chronology may include the first video segment corresponding to the earliest time, the second video segment corresponding to the earliest time, etc. The collage module may order the video segments based on the interest scores by ranking the video segments from most attractive to least interesting based on the interest scores and order the collage based on the ranking. The collage module may arrange the video segments in a clockwise direction, counterclockwise guidance, or an arbitrary direction. Other configurations are possible.
The collage module generates instructions for the user interface module to create graphical data that renders the collage with video segments in windows of different sizes. The size of the windows may get based on interest scores for each of the video segments. For example, the video segment with an interest score that indicates that it is most interesting may have the largest window size.
Additionally, the size of the windows may get based on the length of the video segments. For example, the shortest video segment may correspond to the smallest window size. The collage module may determine window size based on an artistic effect. For example, the collage module may generate windows that resemble creative works from the De Stijl art movement. In particular, the collage module may create a collage with shapes that resemble a Piet Mondrian painting with different sized boxes and different line thicknesses that distinguish the separation between different video segments.
The collage module generates a collage that is a video file (eg, an animated GIF, an MPG, etc.) with associated code (eg, JavaScript) that recognizes user selection (eg, to move to the second collage in a hierarchy, to playback a specific segment, etc.). The collage module may link the video segments to a location in the video. Upon selecting one of the video segments, the video gets displayed in the video that corresponds to the piece. For example, each video segment in the collage may include a hyperlink to the corresponding location in the video.
Generating Video Collages by Meeting a Threshold Score
The collage module generates and displays a collage by determining video segments that meet a threshold score. It may evaluate display characteristics for the collage and identify window layouts that meet the display characteristics. It can also select a particular window layout, generate the collage, and cause the collage to get displayed.
A graphic representation gets illustrated. The graphical representation includes an example timeline of a video and a corresponding collage 310 generated from four interesting moments. The timeline represents an eight-minute video. The eight-minute video may be an ice skating competition where four different ice skating couples each have a two-minute demonstration. The video processing module identified four interesting moments labeled A, B, C, and D in this example.
The segmentation module generates four video segments where each video segment includes a corresponding interesting moment.
Interesting moment A may include a first couple executing a sustained edge step.
The interesting moment B may consist of a second couple where one of the skaters runs a triple axel jump.
The interesting moment C may include a third couple executing the sustained edge step.
And the interesting moment D may consist of a fourth couple executing a serpentine step sequence.
The video processing module may determine the interesting moments based on a user identifying the interesting moments, identifying continual motion, for example, a motion that occurs before the crowd starts cheering, or another technique.
The collage module generates a collage from the video segments. In this example, the collage module generates a collage that orders the video segments chronologically in a clockwise direction. Suppose a user selects one of the video segments.
The user interface module may cause the video to get displayed at the location in the video that corresponds to the time of the video segment.
For example, in the example depicted, if a user selects video segment D, a new window may appear that displays the video at the D location illustrated on the timeline near the end of the video.
A Graphic Representation of Another Example Video Collage
In this example, the collage includes 19 video segments. The collage module may generate the different sized windows for the collage based on the interest scores for each video segment and the length of the video segments. For example, a figure may represent a collage generated from a video of a news program. Video segment A may represent the feature news story for the news program, which is both the most interesting and the longest. As a result, video segment A gets described with the largest window. Video segments B, C, and H, represent other less interesting and shorter news segments. Lastly, video segments D, E, F, and G represent short snippets in the news program.
The collage module generates a hierarchical collage. Hierarchical collages may be helpful to, for example, present a limited number of video segments in a single window. Besides, the hierarchical collage may create an entertaining effect that helps users stay more engaged when so many video segments appear too crowded. The collage module may group the video segments based on the timing of the video segments or a type of interesting moment associated with the video segments.
The collage module may generate the first collages based on the groups. For example, the collage module may divide a video into three parts and develop the first collages for each video segment in the first, second, and last. In another example, a video may include tryouts and competitions. The collage module may group based on the type of interesting moment by distinguishing between tryouts and competitions.
The collage module may generate two first collages, one first collage for the video segments in the tryouts and one second for the video segments in the competitions. The representative segment may be the most extended video segment for a group. The representative segment may be a segment that includes a high amount of continual motion compared with other elements in the group. A combination of interest score, segment length, amount of continual movement, etc., may get used to select the representative segment.
The collage module may select a representative segment from the video segments associated with the first collages. The usual component may get based on the interest score for each of the video segments in the group. For example, continuing with the above example of a group of tryouts and a group of competitions, the collage module may select the most interesting tryout video segment to represent the tryout group's representative segment.
The collage module may generate a second collage that includes the representative segment for each of the groups. The standard components link to each of the corresponding first collages such that the selection of one of the usual segments causes the related first collage to be visible. The collage module may instruct the user interface module to generate graphical data that drives the second collage to open to display the corresponding first collage, replace the second collage with the first collage, or to causes all the first collages to get displayed.
The collage module configures the video segments in the collage to play automatically. Or additionally, the collages may have to get selected to play. The video segments may play at once or sequentially such that a first video segment plays, then a second video segment plays, etc. The video segments may play once or become configured to play on a continuous loop. A user may be able to configure automatic playback or other options as system settings.
The collage module configures the video segments to play at different frame rates. For example, video segment A may play at the standard speed of 24 FPS (frames per second), video segment B may play at a slower pace of 16 FPS, video segment C may play at a faster speed of 50 FPS, and video segment D may play at 24 FPS. The collage module selects the frame rate based on the content of the video segment. For example, the collage module may determine a slow frame rate for video segments when the rate of continual motion in the video segment is high, such as a video segment of a pitcher throwing a baseball. The collage module may select a faster frame rate when the rate of continual motion in part is low, such as a video segment of a person blowing out a candle or cutting a cake.
An Example Timeline And Hierarchical Video Collages
For example, the timeline represents a video of a meeting that includes presenters giving talks, attendees forming discussion groups, and closing remarks becoming presented. The collage module groups the video segments into three groups: group A represents a section where presenters talk, group B represents a section where people form discussion groups, and group C describes closing remarks.
El módulo de collage genera dos primeros collages: uno para el grupo A, que incluye cuatro segmentos de video, y otro para el grupo B, que proporciona tres segmentos de video. El módulo de collage genera un segundo collage que incluye detalles representativos para los dos primeros collages y el segmento de video para el grupo C. El segundo collage puede consistir en un componente habitual de A, B y C de cada grupo.
Suponga que un usuario selecciona el segmento representativo para el grupo A. En ese caso, el módulo de interfaz de usuario hace que una interfaz de usuario muestre el primer collage para el grupo A, que incluye los segmentos de video A1, A2, A3 y A4. Si el usuario selecciona el segmento de video A3, hace que la interfaz de usuario muestre el video en la ubicación correspondiente a A3 en la línea de tiempo.
El módulo de interfaz de usuario puede funcionar para proporcionar información a un usuario. Ese módulo de interfaz de usuario puede ser un conjunto de instrucciones ejecutables por el procesador para proporcionar la funcionalidad descrita a continuación para proporcionar información a un usuario. El módulo de interfaz de usuario puede almacenarse en la memoria de la computadora y el procesador puede acceder y ejecutarlo.
El módulo de interfaz de usuario puede recibir instrucciones de los otros módulos en la aplicación de video para generar datos gráficos operables para mostrar una interfaz de usuario. Por ejemplo, el módulo de interfaz de usuario puede crear una interfaz de usuario que muestre un collage creado por el módulo de collage.
El módulo de interfaz de usuario puede generar datos gráficos para mostrar collages que enlazan con el video completo. Las respuestas a un usuario que hace clic en el collage de la interfaz de usuario pueden mostrar el video original o hacer que se abra una nueva página web que incluya el video completo. El módulo de interfaz de usuario ofrece una opción para descargar el collage a un dispositivo de usuario o transmitir el collage desde el servidor de video.
El módulo de interfaz de usuario puede generar una opción para que un usuario proporcione comentarios sobre los collages. Por ejemplo, el módulo de interfaz de usuario puede crear una interfaz de usuario que incluya un botón de comentarios que el usuario puede seleccionar para ver un menú desplegable que contiene objetos que el usuario desea agregar como intereses explícitos. El módulo de interfaz de usuario puede proporcionar las cosas basadas en etiquetas asociadas con los segmentos de video usados para crear la lista de objetos que el usuario puede seleccionar como intereses explícitos.
Una representación gráfica de una interfaz de usuario que incluye una sección de videos
En la sección de videos, el módulo de interfaz de usuario puede recibir una designación de un momento interesante por parte de un usuario. En este ejemplo, el módulo de interfaz de usuario incluye instrucciones que informan a los usuarios que el usuario puede identificar momentos interesantes haciendo clic en el video. Como resultado de la selección del usuario, el módulo de segmento de video genera un segmento que incluye el momento interesante. El módulo de collage genera un collage que consta de los segmentos de video.
Una figura también incluye una sección de collages que consiste en un collage. En este ejemplo, el usuario selecciona uno de los botones de reproducción para ver un segmento de video correspondiente. La interfaz de usuario también incluye una opción para indicar la aprobación del video en un botón +1 y un botón para compartir que permite al usuario compartir el collage. Por ejemplo, el módulo de interfaz de usuario puede generar una opción para compartir el collage a través de una red social, usando el correo electrónico, a través de una aplicación de chat, etc.
Un método de ejemplo para generar un collage de videos
Los momentos interesantes se determinan en un video. Por ejemplo, un usuario identifica los momentos interesantes, seleccionados en función del movimiento continuo, objetos en el video, etc. Los segmentos de video se generan en base a los momentos interesantes, donde cada uno de los segmentos de video incluye al menos uno de los momentos interesantes del video. . Se genera un collage a partir de los segmentos de video, donde el collage consta de al menos dos ventanas, y cada ventana incluye uno de los segmentos de video.
Generación de collage de videos jerárquico
Los pasos pueden ser realizados por la aplicación de video.
Los collages de video se crean en base a momentos interesantes.
Los momentos interesantes se determinan en un video.
Los segmentos de video se agrupan en grupos.
Se generan dos o más primeros collages de video, cada uno correspondiente a uno de los dos o más grupos. Cada uno de los primeros collages de video incluye al menos dos segmentos de video. Se selecciona un componente representativo para cada grupo de al menos dos segmentos de video de cada uno de los primeros collages. Se genera un segundo collage que incluye el segmento habitual para cada grupo. El segundo collage se vincula a un primer collage correspondiente que proporciona al menos dos segmentos de video en un grupo relacionado.