Microsoft는 이미지를 통한 식품 로깅 특허

Microsoft는 영양식의 식품 로깅을 목표로 합니다.

나는 내가 먹는 것을 지켜보고 고정식 자전거와 저항 밴드로 운동을 포착하려고 노력했습니다. 일부 사이트는 이를 추적할 수 있으며 식사로 얼마나 많은 칼로리를 소비하는지, 운동으로 얼마나 많은 칼로리를 소모할 수 있는지 추정할 수 있습니다. 음식 기록이라고 하는 프로세스를 사용하여 식사와 영양가를 추적하는 약간 다른 접근 방식을 설명하는 Microsoft의 특허를 보고 놀랐습니다. 특허의 초점은 시각적인 것인데, 당신이 먹는 것을 사진으로 찍고 당신이 먹는 것을 추적하고 분석하도록 합니다. 흥미롭게 들리네요. 언젠가는 시도해 보고 싶습니다. 이것이 Bing의 기능이 될 수 있는지 또는 Microsoft에서 운영하는 다른 사이트를 통해 기능이 될 수 있는지 궁금합니다.

이번 주에 부여된 특허는 음식 섭취량을 기록하는 과정을 개선하여 개선하는 방법에 관한 것입니다. 그것은 "개인이 먹는 음식과 그 음식과 관련된 다양한 영양 정보를 모니터링"하는 "푸드 로깅"에 대해 알려주고 사람들이 식품 로깅에 참여하는 몇 가지 이유를 알려줍니다. 여기에는 다음이 포함됩니다.

특허에 따르면 비만을 줄이는 것은 "심혈관 질환, 당뇨병, 암과 같은 상태와 관련이 있으며 기대 수명과 삶의 질 모두에 극적인 영향을 미칩니다." 또한 사람들이 "식이 요법과 운동 습관"을 바꾸는 데 어려움을 겪는다고 알려줍니다. 또한 Food Logging은 그러한 변화를 만드는 사람들을 지원하는 데 도움이 됩니다. 그런 다음 "음식 기록은 초기 체중 감소 증가 및 체중 유지 개선과 상관 관계가 있는 것으로 알려져 있습니다."라고 알려줍니다.

식품 로깅을 어떻게 개선할 수 있습니까?

Food Logging의 효율성은 얼마나 불편할 수 있는지에 따라 제한됩니다. 식품 기록을 보다 자동화하는 데 도움이 될 수 있는 기술적인 접근 방식은 단일 식품 이미지에서 영양 정보를 추론하는 것입니다. 몇 가지 이유로 수행할 수 있는 효과적인 제한이 있습니다. 이 특허는 이러한 이미지를 사용하여 식사에 대한 영양 정보를 얻는 데 중점을 둡니다. 그것은 보인다:

1. 일부 음식은 이미지에 가려져 정보가 누락될 수 있습니다.
2., 기름의 양, 고기의 지방함량, 당도, 염분 함량 등과 같은 “시각 정보만으로는 음식 준비의 모든 세부 사항을 전달하기 어렵”습니다.)
3 단일 이미지로 음식의 양을 추정하는 것도 어려울 수 있습니다.

식품 로깅 시 이미지에서 영양을 추적하는 문제

이상적으로는 실제 식사의 단일 이미지에서 칼로리, 지방, 탄수화물 등의 양을 추정하기 어려울 수 있습니다. 단일 이미지에서 그렇게 하는 것은 어려울 수 있으며 사용자 친화적이지 않습니다.

종종 초점은 "피츠버그 패스트푸드 이미지 데이터 세트" 또는 "부트스트랩 분류를 위한 사용자 제공 이미지 및 영양 통계"와 같은 것을 사용하는 "핵심 컴퓨터 비전 문제"에 있습니다. 이것은 부분 크기와 영양가와 관련하여 제한된 정보를 제공할 수 있습니다.

이 특허는 또한 "소비되는 음식의 이미지를 기반으로 한 영양 정보의 수동 크라우드 소스 평가"의 사용 가능성을 지적합니다. 이것은 사람들에 의해 상당한 시간과 노력이 필요할 수 있지만 결과는 "영양사가 제공하는 것과 유사한" 경향이 있다고 합니다.

식사 모델의 기계 학습

Food Logging에서 이미지를 사용하는 문제를 감안할 때 이 특허는 "식사의 영양 함량에 대한 하나 이상의 이미지 기반 모델(여기서는 "식사 모델"이라고 함)을 학습하거나 훈련"하는 것과 관련된 다른 접근 방식을 제공합니다. 우리는 다음과 같이 말합니다.

식사 모델 훈련은 식사의 다양한 매개변수를 설명하는 "식사 특징"과 함께 식사 이미지의 하나 이상의 데이터 세트를 기반으로 합니다. 식사 특징의 예에는 음식 유형, 식사 내용, 부분 크기, 영양 성분(예: 칼로리, 비타민, 미네랄, 탄수화물, 단백질, 소금 등), 음식 소스(예: 특정 레스토랑 또는 레스토랑 체인점, 식료품점, 특정 사전 포장 식품, 학교 급식, 집에서 준비한 식사 등), 재료 등. 식사의 출처 또는 위치가 알려진 경우 식사 모델에는 소스별 분류자가 포함될 수 있습니다. 특정 출처 또는 위치를 기반으로 인식을 제한하는 데 사용됩니다.

이러한 식사 모델 이미지를 사용할 수 있는 식품 로거는 "특정 식사의 영양 함량을 추정하는 데 사용되는 모든 매개변수(예: 부분 크기, 접시 크기, 반찬, 음료 등)를 추가, 제거 또는 수정할 수 있습니다. 사용자가 소비합니다." 사용자 인터페이스는 "구운 감자에 버터 한 스푼 추가"와 같은 작업을 수행할 수 있습니다.

이러한 식사 모델은 "특정 레스토랑, 집에서 만든 식사, 학교 급식 등"과 같은 출처의 이미지 및 정보를 기반으로 할 수 있습니다.

음식 로거 프로그램의 기계 학습 구성 요소는 식사 모델을 학습하거나 훈련하는 데 사용될 수 있으며 이러한 이미지의 정보는 "사용자가 캡처할 수 있습니다(예: 카메라, 휴대폰, 머리에 쓰는 안경)" 하나 이상의 카메라 또는 이미징 장치 등으로) 또는 사용자가 소비할 완전한 식사의 식품 항목의 이미지를 자동으로 캡처하도록 배치된 하나 이상의 카메라 또는 이미징 장치를 통해 캡처됩니다."

이 시스템에서 캡처한 영양 정보는 나중에 이 시스템을 사용하는 사람이 연구할 수 있습니다.

식당에서 식사를 한 경우 Food Logger 프로그램은 GPS, 기지국 기반 위치 파악, RFID 또는 현재 위치의 사용자 지정(예: 식당 이름 입력, 음성 입력 사용, 즐겨찾는 음식점 목록에서 선택 등), 인식을 위해 식사 이미지를 제공할 때 사용자의 위치를 ​​확인합니다. 특허에 따르면 다음과 같습니다.

...예를 들어, 사용자가 캐나다 토론토의 King Street에 있는 "Solo Grill"에 있는 경우 Food Logger는 Solo Grill에서 비롯된 것으로 식별된 식사에 대한 식사 모델의 영양 정보에 대한 식사 이미지 인식 프로세스를 제한합니다.

식당과 같은 장소에서 식사 모델 정보를 캡처하면 누락된 음식 항목이 없을 가능성이 더 높아지고 모든 영양 정보가 캡처될 수 있습니다. 재료(예: 땅콩 소스, 조개류 등) 및 준비 세부 정보(예: 구운 것, 튀긴 것, 데친 것 등)를 해당 영양 정보와 함께 식사 모델에 인코딩할 수 있기 때문입니다."

이것은 음식 섭취량을 기록하려는 사람에게 유용하고 편리할 것 같습니다.

이 특허는 또한 식사에 대한 정보를 캡처할 수 있는 몇 가지 다른 가능성을 설명합니다.

유리하게는, 대부분의 레스토랑에 대한 특정 식사를 설명하는 텍스트 메뉴는 일반적으로 Yelp.RTM과 같은 사이트와 같은 다양한 온라인 소스로부터 쉽게 입수할 수 있습니다. 또는 Foursquare.com 또는 개별 레스토랑의 웹사이트. 또한, 이러한 텍스트 메뉴의 높은 비율에는 영양 정보(일반적으로 칼로리 함량, 최소한 및 종종 추가 영양 정보)도 포함됩니다. 메뉴와 함께 사용할 수 없는 경우 식사 모델 교육을 위해 레이블이 지정된 예를 구성하는 데 사용하기 위한 영양 정보 추정치는 손으로 코딩하거나 크라우드 소싱하거나 다른 레스토랑이나 출처의 유사한 식사를 기반으로 추정할 수 있습니다.

이 특허는 또한 웹 검색을 통해 식사와 영양에 대한 정보를 얻는 것이 가능할 수도 있다고 말합니다.

특허는 다음과 같습니다.

이미지에서 음식 로깅
발명가: Neel Suresh Joshi, Siddharth Khullar, T Scott Saponas, Daniel Morris, Oscar Beijbom
양수인: Microsoft Technology Licensing, LLC(워싱턴주 레드몬드)
미국 특허: 9,977,980
부여: 2018년 5월 22일
출원일: 2017년 4월 17일

추상적 인

"푸드 로거"는 식사의 영양 성분에 대한 하나 이상의 이미지 기반 모델(여기서 "식사 모델"이라고 함)을 학습하거나 훈련하기 위한 다양한 접근 방식을 제공합니다. 이 교육은 식사의 다양한 매개변수를 설명하는 "식사 특징"과 함께 식사 이미지의 하나 이상의 데이터 세트를 기반으로 합니다. 식사 특징의 예에는 음식 유형, 식사 내용, 부분 크기, 영양 성분(예: 칼로리, 비타민, 미네랄, 탄수화물, 단백질, 소금 등), 음식 소스(예: 특정 레스토랑 또는 레스토랑 체인점, 식료품점, 특정 사전 포장 식품, 학교 급식, 집에서 만든 식사 등). 훈련된 모델이 주어지면 Food Logger는 사용자가 제공한(또는 사용자를 위해) 새로운 식사 이미지를 자동으로 인식하여 영양 정보 추정치를 자동으로 제공합니다. 이 영양 정보는 개별 사용자가 소비하는 음식과 관련된 광범위한 사용자 중심 상호 작용을 가능하게 하는 데 사용됩니다.

식품 로깅과 관련된 테이크 아웃

이것은 검색 공급자가 기계 학습 접근 방식을 사용하고 외부 소스에서 얻거나 웹에서 검색할 수 있는 정보를 사용하여 많은 사람들을 도우려는 한 가지 예입니다. 구조화된 데이터에서 온라인 메뉴 항목에 대한 영양 정보를 사용할 수 있는 경우 이 특허에 설명된 것과 같은 식품 로거 시스템을 개발하는 것이 훨씬 더 쉬울 수 있습니다.

그것이 살아나는 것을 보는 것은 흥미로울 것입니다.