微軟專利通過圖像記錄食物

微軟瞄準營養膳食的食物記錄

我一直在嘗試觀察我在吃什麼，並在固定自行車和阻力帶上記錄鍛煉情況。 一些網站可以跟踪這些，他們可以估計你在進餐時消耗了多少卡路里，以及你可以通過鍛煉消耗多少卡路里。 我很驚訝地看到微軟的一項專利描述了一種稍微不同的方法來跟踪膳食和營養價值，使用一種稱為食物記錄的過程。 該專利的重點是視覺上的，拍下你吃的東西，讓它試著追踪你吃的東西並分析它。 聽起來很有趣，我想有一天嘗試一下。 想知道這是否會成為 Bing 的一項功能，或者通過 Microsoft 運營的另一個站點。

本週授予的專利包括改進一個人記錄食物攝入量的過程，以嘗試對其進行改進。 它首先告訴我們“食物記錄”，即“監控個人食用的食物以及與該食物相關的各種營養信息”，並告訴我們人們從事食物記錄的一些原因。 這些包括：

該專利告訴我們，減少肥胖症“與心血管疾病、糖尿病和癌症等疾病有關，並顯著影響預期壽命和生活質量。” 它還告訴我們，人們很難改變“飲食和運動習慣”。 此外，Food Logging 有助於支持人們進行此類更改。 然後它告訴我們，“眾所周知，食物記錄與增加初始體重減輕和改善體重保持密切相關。”

如何改進食物記錄？

Food Logging 的有效性受到它的不便程度的限制。 一種有助於使食物記錄更加自動化的技術方法是從單個食物圖像中推斷營養信息。 出於多種原因，這樣做的有效性是有限的。 該專利專注於使用諸如圖像之類的圖像來獲取有關膳食的營養信息。 看起來：

1.圖片中可能隱藏了部分食物，導致信息丟失。
2.，“不太可能僅憑視覺信息傳達食物製備的所有細節”，例如油量、肉類脂肪含量、糖含量、鹽含量等）
3 也很難從單個圖像中估計食物的體積。

食物記錄時從圖像跟踪營養的挑戰

理想情況下，可能很難從真實膳食的單個圖像中估計卡路里、脂肪、碳水化合物等的數量。 從單個圖像執行此操作可能具有挑戰性，並且不是非常用戶友好。

通常重點是“核心計算機視覺挑戰，使用諸如“匹茲堡快餐圖像數據集”或“用戶提供的圖像和營養統計數據來引導分類”。 當涉及到份量和營養價值時，這可能提供有限的信息。

該專利還指出了可能使用“基於所消費食物的圖像對營養信息進行手動眾包評估”。 這可能需要人們花費大量的時間和精力，但我們被告知結果往往“類似於營養師提供的結果”。

膳食模型的機器學習

鑑於在食品記錄中使用圖像的挑戰，該專利提供了一種不同的方法，該方法涉及“學習或訓練一個或多個基於圖像的模型（此處稱為“膳食模型”）的膳食營養成分。” 我們被告知：

膳食模型的訓練基於一個或多個膳食圖像數據集，並結合描述膳食的各種參數的“膳食特徵”。 膳食特徵的示例包括但不限於食物類型、膳食內容、份量、營養成分（例如，卡路里、維生素、礦物質、碳水化合物、蛋白質、鹽等）、食物來源（例如，特定餐館或連鎖餐廳、雜貨店、特定的預包裝食品、學校膳食、在家準備的膳食等）、配料等。如果膳食的來源或位置已知，膳食模型可能包括特定來源的分類器，這些分類器可以用於限制基於特定來源或位置的識別。

可能正在使用這些膳食模型圖像的食物記錄器可能能夠“添加、刪除或修改用於估計特定膳食的營養成分的任何參數（例如，份量、盤子大小、配菜、飲料等）”。被用戶消費。” 用戶界面將能夠執行諸如“在烤土豆中加入一湯匙黃油”之類的操作。

這些膳食模型可以基於來自“特定餐廳、家常飯菜、學校膳食等”等來源的圖像和信息。

我們被告知，食物記錄器程序的機器學習組件可用於學習或訓練膳食模型，然後來自這些圖像的信息可能“被用戶捕獲（例如，相機、手機、頭戴式眼鏡用一個或多個照相機或成像設備等）或通過一個或多個照相機或成像設備捕獲，這些照相機或成像設備定位為自動捕獲用戶要食用的完整膳食的食物項目的圖像。”

該系統捕獲的營養信息隨後可以由使用該系統的人進行研究。

如果在餐廳用餐，Food Logger 程序可以使用跟踪或定位技術，例如基於 GPS、0 蜂窩塔的定位、RFID 或當前位置的用戶規範（例如，輸入餐廳名稱、使用語音輸入、從最喜歡的餐館列表中選擇等），以確定當提供膳食圖像以供識別時用戶在哪裡。 正如專利告訴我們的那樣：

…例如，如果用戶在加拿大多倫多國王街的“Solo Grill”，食物記錄器然後將膳食圖像識別過程限制為膳食模型中識別為源自 Solo Grill 的膳食的營養信息。

從餐廳等地方捕獲膳食模型信息可能會更可能不會遺漏任何食物，並捕獲所有營養信息，“通過在每個餐廳的基礎上將膳食視為一個整體，附加信息，例如因為配料（例如花生醬、貝類等）和準備細節（例如，烘烤、油炸、水煮等）可以與相應的營養信息一起編碼到膳食模型中。”

這聽起來對於試圖記錄他們的食物攝入量的人來說確實有幫助和方便。

該專利還描述了捕獲有關膳食信息的其他一些可能性：

有利地，描述大多數餐館的特定餐點的文本菜單通常可從各種在線資源（例如，諸如Yelp.RTM之類的站點）容易地獲得。 或 Foursquare.com，或個別餐廳的網站。 此外，這種文本菜單的很大一部分還包括營養信息（通常是熱量含量，至少，通常是額外的營養信息）。 還要注意，如果不能與菜單結合使用，用於構建訓練膳食模型的標記示例的營養信息估計可以是手工編碼、眾包、基於來自其他餐館或來源的類似膳食進行估計等。

該專利還告訴我們，有可能通過網絡搜索獲得有關膳食及其營養的信息。

該專利是：

從圖像中記錄食物
發明人：Neel Suresh Joshi、Siddharth Khullar、T Scott Saponas、Daniel Morris 和 Oscar Beijbom
受讓人：Microsoft Technology Licensing, LLC（華盛頓州雷德蒙德）
美國專利：9,977,980
授予時間：2018 年 5 月 22 日
提交時間：2017 年 4 月 17 日

抽象的

“食物記錄器”提供用於學習或訓練膳食的營養成分的一個或多個基於圖像的模型（本文稱為“膳食模型”）的各種方法。 該訓練基於一個或多個膳食圖像數據集，並結合描述膳食的各種參數的“膳食特徵”。 膳食特徵的示例包括但不限於食物類型、膳食內容、份量、營養成分（例如，卡路里、維生素、礦物質、碳水化合物、蛋白質、鹽等）、食物來源（例如，特定餐館或連鎖餐廳、雜貨店、特別是預包裝食品、學校膳食、在家準備的膳食等）。 給定經過訓練的模型，Food Logger 基於對用戶提供（或為）提供的新膳食圖像的自動識別，自動提供營養信息的估計值。 然後，這些營養信息用於實現與個人用戶消費的食物相關的廣泛的以用戶為中心的交互。

涉及食品採伐的要點

這是一個示例，說明搜索提供商如何嘗試使用機器學習方法幫助許多人，並使用可以從外部來源獲得的信息或在 Web 上搜索的信息。 如果可以在結構化數據中在線獲取菜單項的營養信息，那麼開發諸如本專利中描述的食物記錄器系統可能會更容易。

看到它栩栩如生會很有趣。