Microsoft brevette la journalisation des aliments via des images

Microsoft cible l'enregistrement des aliments pour les repas nutritionnels

J'ai essayé de regarder ce que je mange et de capturer des séances d'entraînement sur un vélo stationnaire et avec des bandes de résistance. Certains sites peuvent les suivre et estimer le nombre de calories que vous consommez avec vos repas et le nombre de celles que vous pouvez brûler en faisant de l'exercice. J'ai été surpris de voir un brevet de Microsoft qui décrivait une approche légèrement différente du suivi des repas et des valeurs nutritionnelles, en utilisant un processus appelé enregistrement des aliments. L'objectif du brevet est visuel, prenant des photos de ce que vous mangez et le laissant essayer de suivre ce que vous mangez et de l'analyser. Cela semble intéressant, et j'aimerais l'essayer un jour. Vous vous demandez si cela peut devenir une fonctionnalité sur Bing ou via un autre site géré par Microsoft.

Le brevet délivré cette semaine porte sur l'amélioration d'un processus d'enregistrement de la prise alimentaire par une personne, pour tenter de l'améliorer. Il commence par nous parler de « Food Logging », qui consiste à « surveiller les aliments consommés par les individus ainsi que diverses informations nutritionnelles associées à cet aliment » et il nous explique certaines des raisons pour lesquelles les gens s'engagent dans l'enregistrement alimentaire. Ceux-ci inclus:

La réduction de l'obésité, qui, selon le brevet, est « liée à des maladies telles que les maladies cardiovasculaires, le diabète et le cancer, et a un impact considérable sur l'espérance de vie et la qualité de vie ». Cela nous indique également que les gens ont du mal à modifier leurs « habitudes alimentaires et sportives ». De plus, le Food Logging aide les personnes à effectuer de tels changements. Il nous dit ensuite que « la journalisation des aliments est connue pour être bien corrélée à une perte de poids initiale accrue et à un maintien du poids amélioré ».

Comment améliorer la journalisation des aliments ?

L'efficacité de la journalisation des aliments est limitée par son inconvénient. Une approche technologique qui pourrait aider serait de rendre l'enregistrement des aliments plus automatique, en inférant des informations nutritionnelles à partir d'une seule image alimentaire. Il y a des limites à l'efficacité de ce qui peut être fait pour plusieurs raisons. Ce brevet se concentre sur l'utilisation d'images telles que celles pour obtenir des informations nutritionnelles sur les repas. Il paraît que:

1. Certains aliments peuvent être cachés dans les images, ce qui fait que des informations sont manquées.
2., Il est « peu probable que les informations visuelles transmettent à elles seules tous les détails de la préparation des aliments » tels que la quantité d'huile, la teneur en graisse des viandes, la teneur en sucre, la teneur en sel, etc.)
3 Il peut également être difficile d'estimer les volumes de nourriture à partir d'images individuelles.

Défis du suivi de la nutrition à partir d'images lors de l'enregistrement des aliments

Idéalement, il peut être difficile d'estimer les quantités de calories, de lipides, de glucides, etc.) à partir d'images uniques de repas réalistes. Le faire à partir d'une seule image peut être difficile et peu convivial.

Souvent, l'accent est mis sur les « défis fondamentaux de la vision par ordinateur, en utilisant quelque chose comme « l'ensemble de données d'images de Fast-Food de Pittsburgh » ou « les images fournies par l'utilisateur et les statistiques nutritionnelles pour amorcer la classification ». Cela peut fournir des informations limitées en ce qui concerne la taille des portions et les valeurs nutritionnelles.

Le brevet souligne également l'utilisation possible d'"évaluations manuelles participatives des informations nutritionnelles basées sur des images d'aliments consommés". Cela pourrait prendre beaucoup de temps et d'efforts de la part des gens, mais on nous dit que les résultats ont tendance à être « similaires à ceux fournis par un diététicien ».

Apprentissage automatique de modèles de repas

Compte tenu des défis liés à l'utilisation d'images dans la journalisation des aliments, le brevet propose une approche différente qui implique « l'apprentissage ou la formation d'un ou plusieurs modèles basés sur l'image (appelés ici « modèles de repas ») du contenu nutritionnel des repas. » On nous dit que :

La formation de modèles de repas est basée sur un ou plusieurs ensembles de données d'images de repas en combinaison avec des « caractéristiques de repas » qui décrivent divers paramètres du repas. Des exemples de caractéristiques de repas comprennent, sans s'y limiter, le type d'aliment, le contenu du repas, la taille des portions, le contenu nutritionnel (par exemple, calories, vitamines, minéraux, glucides, protéines, sel, etc.), une source de nourriture (par exemple, des restaurants ou des chaînes de restaurants, épiceries, aliments préemballés particuliers, repas scolaires, repas préparés à la maison, etc.), ingrédients, etc. Si la source ou l'emplacement des repas est connu, le modèle de repas peut inclure des classificateurs spécifiques à la source qui peuvent être utilisé pour contraindre la reconnaissance en fonction de sources ou d'emplacements particuliers.

Un enregistreur d'aliments qui peut utiliser ces images de modèles de repas peut être en mesure « d'ajouter, de supprimer ou de modifier tous les paramètres (par exemple, la taille des portions, la taille de l'assiette, les accompagnements, les boissons, etc.) utilisés pour estimer le contenu nutritionnel de repas particuliers en cours de préparation. consommé par l'utilisateur. Une interface utilisateur serait capable de faire des choses comme "ajouter une cuillère à soupe de beurre à une pomme de terre au four".

Ces modèles de repas pourraient être basés sur des images et des informations provenant de sources telles que « des restaurants particuliers, des repas faits maison, des repas scolaires, etc ».

On nous dit qu'un composant d'apprentissage automatique d'un programme d'enregistrement d'aliments peut être utilisé pour connaître ou former des modèles de repas, et que les informations de ces images peuvent alors être « soit capturées par l'utilisateur (par exemple, appareil photo, téléphone portable, lunettes serre-tête). avec une ou plusieurs caméras ou dispositifs d'imagerie, etc.) ou capturés via une ou plusieurs caméras ou dispositifs d'imagerie positionnés pour capturer automatiquement des images d'aliments de repas complets à consommer par l'utilisateur.

Les informations nutritionnelles captées par ce système pourraient ensuite être étudiées ultérieurement par une personne utilisant ce système.

Si un repas a été pris dans un restaurant, le programme Food Logger peut utiliser des techniques de suivi ou de localisation, telles que le GPS, la localisation basée sur une tour cellulaire, la RFID ou la spécification par l'utilisateur de l'emplacement actuel (par exemple, en saisissant le nom du restaurant, en utilisant la saisie vocale, sélection dans une liste de restaurants préférés, etc.), pour déterminer où se trouve l'utilisateur lorsque l'image du repas est fournie pour la reconnaissance. Comme le brevet nous le dit :

…par exemple, que l'utilisateur se trouve au « Solo Grill » sur King Street à Toronto, Canada, le Food Logger contraint alors le processus de reconnaissance d'image de repas aux informations nutritionnelles dans le modèle de repas pour les repas identifiés comme provenant du Solo Grill.

La capture d'informations sur le modèle de repas à partir d'un endroit tel qu'un restaurant peut augmenter la probabilité qu'aucun aliment n'ait été oublié, et toutes les informations nutritionnelles ont été capturées, « en considérant le repas comme une entité dans son ensemble sur une base par restaurant, des informations supplémentaires telles que car les ingrédients (par exemple, sauce aux arachides, crustacés, etc.) et les détails de la préparation (par exemple, cuits au four, frits, pochés, etc.) peuvent être encodés dans le modèle de repas avec les informations nutritionnelles correspondantes.

Cela semble être utile et pratique pour quelqu'un qui essaie d'enregistrer sa consommation de nourriture.

Le brevet décrit également d'autres possibilités de capture d'informations sur les repas :

Avantageusement, des menus textuels décrivant des repas particuliers pour la plupart des restaurants sont généralement facilement disponibles à partir d'une grande variété de sources en ligne, par exemple, des sites tels que Yelp.RTM. ou Foursquare.com, ou les sites Web de restaurants individuels. En outre, un pourcentage élevé de ces menus textuels comprend également des informations nutritionnelles (typiquement, au moins une teneur calorique, et souvent des informations nutritionnelles supplémentaires). Notez également que si elles ne sont pas disponibles en combinaison avec le menu, les estimations des informations nutritionnelles à utiliser dans la construction d'exemples étiquetés pour les modèles de repas de formation peuvent être codées à la main, générées par la foule, estimées sur la base de repas similaires provenant d'autres restaurants ou sources, etc.

Le brevet nous dit également qu'il pourrait être possible d'obtenir des informations sur les repas et leur nutrition à partir de recherches sur le Web.

Le brevet est :

Enregistrement des aliments à partir d'images
Inventeurs : Neel Suresh Joshi, Siddharth Khullar, T Scott Saponas, Daniel Morris et Oscar Beijbom
Cessionnaire : Microsoft Technology Licensing, LLC (Redmond, WA)
Brevet américain : 9 977 980
Accordé : 22 mai 2018
Déposé : 17 avril 2017

Résumé

Un « enregistreur d'aliments » propose diverses approches pour l'apprentissage ou la formation d'un ou plusieurs modèles basés sur l'image (appelés ici « modèles de repas ») du contenu nutritionnel des repas. Cette formation est basée sur un ou plusieurs jeux de données d'images de repas en combinaison avec des « caractéristiques de repas » qui décrivent divers paramètres du repas. Des exemples de caractéristiques de repas incluent, sans s'y limiter, le type d'aliment, le contenu du repas, la taille des portions, le contenu nutritionnel (par exemple, calories, vitamines, minéraux, glucides, protéines, sel, etc.), une source de nourriture (par exemple, des restaurants ou des chaînes de restauration, épiceries, notamment aliments préemballés, repas scolaires, repas préparés à la maison, etc.). Compte tenu des modèles entraînés, le Food Logger fournit automatiquement des estimations d'informations nutritionnelles basées sur la reconnaissance automatisée de nouvelles images de repas fournies par (ou pour) l'utilisateur. Ces informations nutritionnelles sont ensuite utilisées pour permettre un large éventail d'interactions centrées sur l'utilisateur concernant les aliments consommés par les utilisateurs individuels.

Plats à emporter impliquant la journalisation des aliments

Il s'agit d'un exemple de la façon dont un moteur de recherche peut tenter d'aider de nombreuses personnes en utilisant une approche d'apprentissage automatique et en utilisant des informations qu'il pourrait obtenir de sources externes ou rechercher sur le Web. Si des informations nutritionnelles étaient disponibles pour les éléments de menu en ligne dans des données structurées, un système d'enregistrement d'aliments tel que celui décrit dans ce brevet pourrait être encore plus facile à développer.

Ce serait intéressant de le voir prendre vie.