Microsoft Patents Регистрация продуктов питания с помощью изображений

Microsoft нацелена на регистрацию пищевых продуктов

Я пытался смотреть, что я ем, и снимать тренировки на велотренажере и с эспандерами. Некоторые сайты могут отслеживать их, и они могут оценить, сколько калорий вы потребляете во время еды и сколько из них вы можете сжечь с помощью упражнений. Я был удивлен, увидев патент от Microsoft, в котором описан несколько иной подход к отслеживанию приема пищи и пищевой ценности с использованием процесса, называемого регистрацией пищевых продуктов. Основное внимание в патенте уделяется визуальному оформлению, фотографированию того, что вы едите, и возможности отслеживать то, что вы едите, и анализировать это. Звучит интересно, и я хотел бы когда-нибудь попробовать. Интересно, может ли это стать функцией Bing или другого сайта Microsoft.

Патент, выданный на этой неделе, касается улучшения процесса регистрации приема пищи человеком, чтобы попытаться улучшить его. Он начинается с рассказа о «Лесозаготовках», что означает «мониторинг еды, съеденной людьми, вместе с различной информацией о питании, связанной с этой едой», и рассказывает нам о некоторых причинах, по которым люди занимаются лесозаготовкой. К ним относятся:

Снижение ожирения, о котором говорится в патенте, «связано с такими состояниями, как сердечно-сосудистые заболевания, диабет и рак, и резко влияет как на продолжительность жизни, так и на качество жизни». Это также говорит нам о том, что людям трудно вносить изменения в «привычки питания и физических упражнений». Кроме того, Food Logging помогает людям вносить такие изменения. Затем он говорит нам, что «известно, что ведение журнала питания хорошо коррелирует с увеличением начальной потери веса и улучшением поддержания веса».

Как можно улучшить ведение журнала питания?

Эффективность Food Logging ограничена тем, насколько она может быть неудобной. Технологический подход, который мог бы помочь, заключался в том, чтобы сделать регистрацию пищевых продуктов более автоматической, путем вывода информации о питании из одного изображения пищи. Есть пределы того, насколько эффективно это может быть сделано по нескольким причинам. В этом патенте основное внимание уделяется использованию изображений, например изображений, для получения информации о питании при приеме пищи. Кажется, что:

1. Некоторая еда может быть скрыта на изображениях, из-за чего информация может быть упущена.
2. «Маловероятно, что визуальная информация сама по себе передает все детали приготовления пищи», такие как количество масла, жирность мяса, содержание сахара, содержание соли и т. Д.)
3 Также бывает сложно оценить объемы еды по отдельным изображениям.

Проблемы отслеживания питания по изображениям при лесозаготовке

В идеале может быть трудно оценить количество калорий, жиров, углеводов и т. Д. По отдельным изображениям реалистичных блюд. Сделать это из одного изображения может быть сложно и неудобно для пользователя.

Часто основное внимание уделяется «основным задачам компьютерного зрения, используя что-то вроде« Набор данных изображений быстрого питания Питтсбурга »или« предоставленные пользователями изображения и статистику питания для начальной классификации ». Это может дать ограниченную информацию о размерах порций и пищевой ценности.

Патент также указывает на возможное использование «ручной краудсорсинговой оценки пищевой информации на основе изображений потребляемой пищи». Это может потребовать от людей изрядного количества времени и усилий, но нам говорят, что результаты, как правило, «аналогичны тем, которые дает диетолог».

Машинное обучение моделей питания

Учитывая проблемы, связанные с использованием изображений в программе регистрации пищевых продуктов, в патенте предлагается другой подход, который включает «изучение или тренировку одной или нескольких моделей на основе изображений (именуемых здесь« моделями питания ») пищевой ценности блюд». Нам говорят, что:

Обучение моделей приема пищи основано на одном или нескольких наборах данных изображений блюд в сочетании с «особенностями приема пищи», которые описывают различные параметры приема пищи. Примеры особенностей приема пищи включают, помимо прочего, тип пищи, ее состав, размер порции, питательную ценность (например, калории, витамины, минералы, углеводы, белок, соль и т. Д.), Источник пищи (например, определенные рестораны или сети ресторанов, продуктовые магазины, отдельные предварительно упакованные продукты, школьные обеды, блюда, приготовленные дома и т. д.), ингредиенты и т. используется для ограничения распознавания на основе определенных источников или местоположений.

Регистратор пищевых продуктов, который может использовать эти изображения моделей приема пищи, может «добавлять, удалять или изменять любые параметры (например, размер порции, размер тарелки, гарниры, напитки и т. Д.), Используемые для оценки питательной ценности конкретных блюд. потребляется пользователем ». Пользовательский интерфейс может выполнять такие действия, как «добавление столовой ложки масла в печеный картофель».

Эти модели питания могут быть основаны на изображениях и информации из таких источников, как «отдельные рестораны, домашние блюда, школьные обеды и т. Д.»

Нам говорят, что компонент машинного обучения программы регистратора пищевых продуктов может быть использован для изучения или обучения моделям приема пищи, а информация из этих изображений может быть «либо захвачена пользователем (например, камера, мобильный телефон, очки для ношения на голове). с одной или несколькими камерами или устройствами обработки изображений и т. д.) или захвачены с помощью одной или нескольких камер или устройств обработки изображений, установленных для автоматического захвата изображений продуктов питания или готовых блюд, которые потребляются пользователем ».

Информация о питании, полученная с помощью этой системы, может быть позже изучена человеком, использующим эту систему.

Если еда была съедена в ресторане, программа Food Logger могла бы использовать методы отслеживания или локализации, такие как GPS, локализация на основе вышек сотовой связи, RFID или пользовательское указание текущего местоположения (например, ввод названия ресторана с использованием речи, выбор из списка любимых ресторанов и т. д.), чтобы определить, где находится пользователь, когда изображение еды предоставляется для распознавания. Как сообщает нам патент:

… Например, когда пользователь находится в «Solo Grill» на Кинг-стрит в Торонто, Канада, Food Logger затем ограничивает процесс распознавания изображения еды информацией о питании в модели питания для блюд, идентифицированных как происходящие из Solo Grill.

Сбор информации о модели питания из такого места, как ресторан, может повысить вероятность того, что продукты, вероятно, не были пропущены, и вся информация о питании была собрана, «путем рассмотрения еды в целом для каждого ресторана, дополнительной информации, такой как как ингредиенты (например, арахисовый соус, моллюски и т. д.) и детали приготовления (например, запеченный, жареный, пашот и т. д.) могут быть закодированы в модели питания вместе с соответствующей информацией о питании ».

Это действительно звучит так, как будто это было бы полезно и удобно для тех, кто пытается регистрировать потребление пищи.

Патент также описывает некоторые другие возможности сбора информации о еде:

Преимущественно текстовые меню, описывающие конкретные блюда для большинства ресторанов, обычно легко доступны из широкого разнообразия сетевых источников, например, таких сайтов, как Yelp.RTM. или Foursquare.com, или веб-сайты отдельных ресторанов. Кроме того, большой процент таких текстовых меню также включает информацию о питании (обычно, по крайней мере, калорийность, а часто и дополнительную информацию о питании). Также обратите внимание, что, если она недоступна в сочетании с меню, оценки информации о питании для использования при построении маркированных примеров для обучающих моделей питания могут быть закодированы вручную, получены из краудсорсинга, оценены на основе аналогичных блюд из других ресторанов или источников и т. Д.

Патент также сообщает нам, что информацию о приемах пищи и их питании можно получить с помощью поиска в Интернете.

Патент:

Регистрация еды по изображениям
Изобретатели: Нил Суреш Джоши, Сиддхарт Куллар, Т. Скотт Сапонас, Дэниел Моррис и Оскар Бейджбом
Правопреемник: Microsoft Technology Licensing, LLC (Редмонд, Вашингтон)
Патент США: 9,977,980.
Выдано: 22 мая 2018 г.
Подана: 17 апреля 2017 г.

Абстрактный

«Регистратор пищевых продуктов» обеспечивает различные подходы к обучению или тренировке одной или нескольких моделей на основе изображений (называемых здесь «моделями приема пищи») пищевой ценности блюд. Это обучение основано на одном или нескольких наборах данных изображений блюд в сочетании с «характеристиками еды», которые описывают различные параметры еды. Примеры особенностей приема пищи включают, помимо прочего, тип пищи, ее состав, размер порции, питательную ценность (например, калории, витамины, минералы, углеводы, белок, соль и т. Д.), Источник пищи (например, определенные рестораны или сети ресторанов, продуктовые магазины, отдельные фасованные продукты, школьные обеды, домашние блюда и т. д.). С учетом обученных моделей Food Logger автоматически предоставляет оценки информации о питании на основе автоматического распознавания новых изображений блюд, предоставленных пользователем (или для). Эта информация о питании затем используется для обеспечения широкого спектра ориентированных на пользователя взаимодействий, касающихся пищевых продуктов, потребляемых отдельными пользователями.

Выводы, связанные с заготовкой пищевых продуктов

Это один из примеров того, как поставщик поиска может попытаться помочь многим людям, используя подход машинного обучения и информацию, которую он может получить из внешних источников или поиск в Интернете. Если бы информация о питании была доступна для пунктов меню в режиме онлайн в виде структурированных данных, разработать систему регистрации пищевых продуктов, подобную той, которая описана в этом патенте, было бы еще проще.

Было бы интересно увидеть, как он оживает.