画像を介したマイクロソフト特許の食品ロギング

マイクロソフトは栄養食の食品伐採を目標としています

私は自分が何を食べているかを観察し、エアロバイクとレジスタンスバンドでトレーニングをキャプチャしようとしています。 一部のサイトではそれらを追跡でき、食事で消費するカロリー数と、運動で燃焼する可能性のあるカロリー数を見積もることができます。 食品ロギングと呼ばれるプロセスを使用して、食事と栄養価を追跡するためのわずかに異なるアプローチを説明しているマイクロソフトの特許を見て驚いた。 特許の焦点は視覚的なものであり、あなたが食べるものの写真を撮り、あなたが食べるものを追跡して分析することを試みさせます。 面白そうなので、いつかやってみたいです。 これがBingの機能になるのか、それともMicrosoftが運営する別のサイトを通じて機能するのか疑問に思います。

今週付与された特許は、それを改善しようとするために、人による食物摂取を記録するプロセスを改善することをカバーしています。 まず、「個人が食べた食品とその食品に関連するさまざまな栄養情報を監視する」「食品伐採」について説明し、人々が食品伐採に従事する理由のいくつかを説明します。 これらには以下が含まれます：

特許によると、肥満の軽減は「心血管疾患、糖尿病、癌などの状態に関連しており、平均余命と生活の質の両方に劇的な影響を及ぼします」。 また、人々は「食生活や運動習慣」を変えるのが難しいことも示しています。 また、そのフードロギングは、そのような変更を行う人々をサポートするのに役立ちます。 次に、「食物伐採は、初期の体重減少の増加と体重維持の改善とよく相関していることが知られています」と述べています。

フードロギングをどのように改善できますか？

フードロギングの効果は、それがどれほど不便であるかによって制限されます。 食品の記録をより自動化するのに役立つ可能性のある技術的アプローチは、単一の食品画像から栄養情報を推測することです。 いくつかの理由で、それがどれほど効果的に行われるかには限界があります。 この特許は、食事に関する栄養情報を取得するための画像などの使用に焦点を当てています。 のようだ：

1.一部の食べ物が画像に隠れて、情報が失われる可能性があります。
2.、油の量、肉の脂肪含有量、糖分、塩分など、「視覚的な情報だけで食品加工の詳細がすべて伝わる可能性は低い」）
3単一の画像から食物の量を推定することも難しい場合があります。

食品ロギング時に画像から栄養を追跡する際の課題

理想的には、現実的な食事の単一の画像からカロリー、脂肪、炭水化物などの量を推定することは難しい場合があります。 単一の画像からこれを行うのは難しい場合があり、あまりユーザーフレンドリーではありません。

多くの場合、焦点は「ピッツバーグのファーストフード画像データセット」や「ユーザー提供の画像と栄養統計を使用して分類をブートストラップする」などのコアコンピュータビジョンの課題にあります。 これは、ポーションサイズと栄養価に関しては限られた情報を提供するかもしれません。

この特許はまた、「消費されている食品の画像に基づいた、クラウドソーシングによる栄養情報の手動評価」の使用の可能性を指摘しています。 これにはかなりの時間と労力がかかる可能性がありますが、結果は「栄養士から提供されたものと同様」になる傾向があると言われています。

食事モデルの機械学習

Food Loggingで画像を使用するという課題を考えると、この特許は、「食事の栄養成分の1つ以上の画像ベースのモデル（ここでは「食事モデル」と呼びます）の学習またはトレーニング」を含む別のアプローチを提供します。 私たちは次のように言われています：

食事モデルのトレーニングは、食事のさまざまなパラメータを説明する「食事の特徴」と組み合わせた食事の画像の1つ以上のデータセットに基づいています。 食事の特徴の例には、食品の種類、食事の内容、部分のサイズ、栄養の内容（たとえば、カロリー、ビタミン、ミネラル、炭水化物、タンパク質、塩など）、食品源（たとえば、特定のレストランまたはレストランチェーン、食料品店、特定の包装済み食品、学校給食、家庭で調理された食事など）、食材など。食事の出所または場所がわかっている場合、食事モデルには出所固有の分類子が含まれる場合があります。特定のソースまたは場所に基づいて認識を制限するために使用されます。

これらの食事モデル画像を使用している可能性のある食品ロガーは、「特定の食事の栄養成分を推定するために使用される任意のパラメーター（たとえば、ポーションサイズ、プレートサイズ、おかず、飲み物など）を追加、削除、または変更できる場合があります。ユーザーによって消費されます。」 ユーザーインターフェイスは、「ベイクドポテトに大さじ1杯のバターを加える」などのことができるようになります。

これらの食事モデルは、「特定のレストラン、家庭料理、学校給食など」などのソースからの画像と情報に基づいている可能性があります。

フードロガープログラムの機械学習コンポーネントを使用して、食事モデルについて学習またはトレーニングし、それらの画像からの情報を「ユーザーがキャプチャしたもの（カメラ、携帯電話、頭に装着した眼鏡など）」と言われています。 1つまたは複数のカメラまたはイメージングデバイスなどを使用して）、またはユーザーが消費する完全な食事の食品の画像を自動的にキャプチャするように配置された1つまたは複数のカメラまたはイメージングデバイスを介してキャプチャします。」

このシステムによって収集された栄養情報は、後でこのシステムを使用している人が研究することができます。

食事がレストランで食べられた場合、Food Loggerプログラムは、GPS、0セルタワーベースのローカリゼーション、RFID、または現在地のユーザー指定（たとえば、レストラン名の入力、音声入力の使用）などの追跡またはローカリゼーション技術を使用できます。お気に入りのレストランのリストなどから選択して、食事の画像が認識のために提供されたときにユーザーがどこにいるかを判断します。 特許が私たちに告げているように：

…たとえば、ユーザーがカナダのトロントのキングストリートにある「ソログリル」にいる場合、フードロガーは食事の画像認識プロセスを、ソログリルからのものであると識別された食事の食事モデルの栄養情報に制限します。

レストランなどの場所から食事モデル情報を取得すると、食品を見逃す可能性が低くなり、すべての栄養情報が取得される可能性があります。材料（ピーナッツソース、甲殻類など）と調理の詳細（焼き、揚げ物、ポーチドなど）を、対応する栄養情報とともに食事モデルにエンコードできるためです。」

これは、食物摂取量を記録しようとしている人にとって有用で便利なように聞こえます。

この特許は、食事に関する情報を取得する他のいくつかの可能性についても説明しています。

有利なことに、ほとんどのレストランの特定の食事を説明するテキストメニューは、一般に、Yelp.RTMなどのサイトなどのさまざまなオンラインソースから簡単に入手できます。 またはFoursquare.com、または個々のレストランのWebサイト。 さらに、そのようなテキストメニューの高い割合には、栄養情報（通常、少なくともカロリー量、および多くの場合、追加の栄養情報）も含まれています。 メニューと組み合わせて利用できない場合は、食事モデルのトレーニング用のラベル付きの例を作成するために使用する栄養情報の推定値を、手作業でコーディングしたり、クラウドソーシングしたり、他のレストランやソースからの同様の食事に基づいて推定したりできることにも注意してください。

この特許はまた、ウェブ上の検索から食事とその栄養に関する情報を得ることが可能かもしれないと私たちに告げています。

特許は次のとおりです。

画像からの食品伐採
発明者：Neel Suresh Joshi、Siddharth Khullar、T Scott Saponas、Daniel Morris、Oscar Beijbom
担当者：Microsoft Technology Licensing、LLC（ワシントン州レドモンド）
米国特許：9,977,980
付与：2018年5月22日
提出日：2017年4月17日

概要

「フードロガー」は、食事の栄養成分の1つまたは複数の画像ベースのモデル（ここでは「食事モデル」と呼びます）を学習またはトレーニングするためのさまざまなアプローチを提供します。 このトレーニングは、食事のさまざまなパラメータを説明する「食事の特徴」と組み合わせた食事の画像の1つ以上のデータセットに基づいています。 食事の特徴の例には、食品の種類、食事の内容、分量、栄養成分（例、カロリー、ビタミン、ミネラル、炭水化物、タンパク質、塩など）、食品源（例、特定のレストランまたはレストランチェーン、食料品店、特定の包装済み食品、学校の食事、家庭で調理された食事など）。 訓練されたモデルが与えられると、Food Loggerは、ユーザーによって（またはユーザーのために）提供された食事の新しい画像の自動認識に基づいて、栄養情報の推定値を自動的に提供します。 次に、この栄養情報を使用して、個々のユーザーが消費する食品に関連するユーザー中心の幅広い対話を可能にします。

フードロギングを含むテイクアウト

これは、検索プロバイダーが機械学習アプローチを使用し、外部ソースから取得したり、Webで検索したりできる情報を使用して、多くの人々を支援しようとする方法の一例です。 構造化データでオンラインのメニュー項目の栄養情報が利用できる場合、この特許に記載されているような食品ロガーシステムの開発はさらに簡単になる可能性があります。

それが生き返るのを見るのは面白いでしょう。