구조화된 데이터 작업 및 주석이 포함된 Google 이미지

작년에 저는 Google의 새로운 시각적 검색 사진 기능을 설명하는 Google의 새로운 특허에 대해 썼습니다. Android에서 전화 앱의 새로운 기능에 대한 소문은 그러한 앱에 내장된 개체 윤곽 인식 검색 기능을 설명하는 특허와 함께 있었습니다. 우리가 Google I/O 2017 개발자 회의에 도착했을 때 Google이 Google Lens라고 부르는 것을 발표했을 때 약간 Deja Vu처럼 보였습니다. 그 소문의 기능은 아직 출시되지 않았으며 완전히 똑같지는 않습니다. 약간 다르며 흥미로운 구조화된 데이터 작업에 중점을 둔 것으로 보입니다.

나는 Google의 특허를 주시하고 있었지만 하나를 놓쳤고 Patently Apple의 사람들은 이달 초에 하나에 대해 보고했습니다.

'구글 렌즈'라고 불리는 구글의 증강현실 카메라 기능에 대한 특허가 미국 특허청에 나타납니다.

읽고 나서 특허를 자세히 살펴볼 가치가 있다고 생각했습니다. 이 특허는 이미지에서 찾은 콘텐츠를 기반으로 조치를 취하는 데 중점을 둡니다.

특허는 다음과 같습니다.

스마트 카메라 사용자 인터페이스
발명가: Teresa Ko, Adam Hartwig, Mikkel Crone Koser, Alexei Masterov, Andrews-Junior Kimbembe, Matthew J. Bridges, Paul Chang, David Petrou, Adam Berenzweig
미국 특허 출원: 20170155850
부여: 2017년 6월 1일
출원일: 2017년 2월 9일

추상적 인

본 개시내용의 구현은 장면을 캡처하는 이미지의 이미지 데이터를 수신하는 동작, 장면으로부터 결정된 하나 이상의 엔티티를 설명하는 데이터를 수신하는 것, 장면으로부터 결정되는 하나 이상의 엔티티, 하나에 기초하여 하나 이상의 동작을 결정하는 동작을 포함한다. 각각의 액션은 하나 이상의 엔터티를 검색하고 하나 이상의 액션 요소를 포함하는 액션 인터페이스를 표시하기 위한 명령을 제공하는 것으로부터의 검색 결과에 적어도 부분적으로 기초하여 제공되고, 각각의 액션 요소는 각각의 액션의 실행을 유도하고, 뷰파인더에 표시되는 액션 인터페이스.

이미지와 관련된 작업

이미지에서 콘텐츠 찾기를 기반으로 사람들이 취할 수 있는 조치의 예는 다음과 같습니다.

(1) 이미지, 동영상 등의 콘텐츠 공유,
(2) 하나 이상의 품목 구매,
(3) 음악, 동영상, 이미지 등의 콘텐츠를 다운로드하는 행위,
(4) 캘린더에 이벤트를 추가하는 것과 같은 이벤트 추가 작업 및
(5) 콘텐츠(예: 이미지)를 앨범(예: 사진 앨범)에 추가하기 위해 실행할 수 있는 앨범에 추가 작업.

이 특허는 바코드와 같은 기계 판독 가능한 코드와 달리 이미지의 데이터를 사용합니다. 개체 인식 프로그램을 사용하여 이미지에서 발견된 개체를 인식할 수 있습니다. 개체는 햄버거나 음식과 같이 사람이나 장소가 아닌 사물이 될 수 있습니다. 특정 엔티티와 연관될 수 있는 조치는 연관된 주석에 의해 정의될 수 있습니다. 특허는 다음과 같이 알려줍니다.

일부 예에서, 하나 이상의 주석은 하나 이상의 엔티티의 각 엔티티와 연관됩니다. 일부 예들에서, 엔티티들의 세트는 주석들의 세트를 제공하기 위해 엔티티들의 세트를 처리하는 주석 엔진에 제공될 수 있다. 일부 예에서, 주석 엔진은 하나 이상의 컴퓨팅 장치, 예를 들어 장치 및/또는 서버 시스템에 의해 실행될 수 있는 하나 이상의 컴퓨터 실행 가능 프로그램으로 제공됩니다. 일부 구현에서, 엔티티 인식 엔진 및 주석 엔진은 결합되어, 예를 들어 동일한 엔진이다.

이미지에서 인식될 수 있는 엔터티와 연결될 수 있는 주석 유형 중 하나는 검색 관련 작업입니다.

예를 들어 엔터티에는 이미지 데이터에 표시되고 음악가 그룹의 이름인 "Best Band Ever"라는 텍스트가 포함될 수 있습니다. 일부 예에서, "Best Band Ever"라는 텍스트가 검색 엔진에 대한 검색 쿼리로서 제공될 수 있고, 특정 밴드와 연관된 검색 결과가 제공될 수 있다. 검색 결과의 예에는 투어 날짜, 앨범 및/또는 밴드와 관련된 상품이 포함될 수 있으며 검색 결과는 주석으로 제공될 수 있습니다.

구조화된 데이터 작업 및 이미지

이 특허는 주석이 "구조화된 데이터 그래프와 함께 상호 참조 엔티티를 기반으로 제공될 수 있음" 가능성을 지적합니다. 예: 지식 그래프."

이 특허는 개체 또는 주석에 매핑될 때 작업이 제공되는 방법에 대한 세 가지 예를 제공합니다.

(1) 예를 들어, 이벤트(예: 콘서트)와 연관된 엔티티 및/또는 주석은 캘린더 및/또는 구매에 이벤트를 추가하기 위해 실행할 수 있는 이벤트 추가 작업에 매핑될 수 있습니다. 예를 들어, 이벤트 티켓을 구매하기 위해 앨범을 구매하기 위한 조치. 결과적으로, 이벤트 추가 액션 및/또는 구매 액션은 하나 이상의 이벤트에 포함될 수 있습니다.

(2) 또 다른 예로서, 엔티티 및/또는 주석은 사용자의 이미지 앨범, 예를 들어 음식 앨범에 대응할 수 있고 콘텐츠, 예를 들어 이미지를 추가하기 위해 실행될 수 있는 앨범에 추가 작업에 매핑될 수 있습니다. , 앨범에. 따라서, 액션은 사용자 특정 정보, 예를 들어 사용자가 이미지에 묘사된 개체와 관련된 이미지 앨범을 가지고 있다는 지식에 기반하여 제공됩니다.

(3) 또 다른 예로서, 엔티티 및/또는 주석은 예를 들어 소셜 네트워킹 서비스 내에서 사용자의 하나 이상의 연락처에 대응할 수 있고, 이미지를 공유하기 위해 실행될 수 있는 이미지 공유 작업에 매핑될 수 있습니다. 연락처. 따라서, 액션은 사용자 특정 정보, 예를 들어 사용자가 일반적으로 이미지에 묘사된 콘텐츠를 특정 연락처와 공유한다는 지식에 기초하여 제공됩니다.

이 특허는 또한 몇 가지 다른 예를 지적합니다.

이미지 데이터에 캡처된 책은 표지 이미지, 제목, 요약, 저자, 출판 날짜, 장르와 같은 해당 책과 관련된 구조화된 데이터 정보를 반환할 수 있습니다.

이미지 데이터에 표시된 밴드는 밴드 사진, 밴드 멤버 목록, 앨범 목록과 같은 밴드와 관련된 구조화된 데이터 정보를 반환합니다.

테이크 어웨이

Google I/O 프레젠테이션에는 특정 업체의 사진이 촬영된 경우 반환되는 업체에 대한 정보가 표시되었습니다. 비즈니스에 대한 지식 그래프 정보를 기반으로 하는 주석에서 데이터를 반환하는 것처럼 들립니다. Google은 귀하의 비즈니스가 Google MyBusiness에서 인증된 경우 검색결과에서 귀하의 비즈니스에 대한 지식 그래프를 자동으로 얻을 것이라고 약속하지 않습니다. 하지만 많은 경우에 도움이 되는 것 같습니다. Google이 다른 항목과 연결된 특정 주석을 갖도록 구조화된 데이터를 설정하는 방법에 대해 더 많이 게시할 것이라고 생각합니다. 구글이 사람들이 예상하지 못했던 웹페이지의 구조화된 데이터를 사용하는 방법을 찾을 것이라는 신호인 것으로 보입니다. 예를 들어 지난 몇 달 동안 도입된 유사한 항목 이미지 검색 결과입니다.