Înregistrarea produselor alimentare prin brevete Microsoft prin imagini

Microsoft vizează înregistrarea alimentelor pentru mesele nutriționale

Am încercat să urmăresc ce mănânc și să surprind antrenamente pe o bicicletă staționară și cu benzi de rezistență. Unele site-uri le pot urmări și pot estima câte calorii consumați în timpul meselor și câte dintre acestea le puteți arde prin exerciții fizice. Am fost surprins să văd un brevet de la Microsoft care descrie o abordare ușor diferită a urmăririi meselor și a valorilor nutriționale, folosind un proces numit înregistrarea alimentelor. Accentul brevetului este unul vizual, făcând fotografii cu ceea ce mănânci și lăsându-l să încerce să urmărească ceea ce mănânci și să îl analizeze. Sună interesant și aș vrea să-l încerc cândva. Mă întreb dacă aceasta poate deveni o funcție pe Bing sau printr-un alt site condus de Microsoft.

Brevetul acordat în această săptămână acoperă îmbunătățirea unui proces de înregistrare a consumului de alimente de către o persoană, pentru a încerca să-l îmbunătățească. Începe prin a ne spune despre „Food Logging”, care este „monitorizarea alimentelor consumate de indivizi împreună cu diverse informații nutriționale asociate cu acel aliment” și ne spune câteva dintre motivele pentru care oamenii se angajează în înregistrarea alimentelor. Acestea includ:

Reducerea obezității, despre care brevetul ne spune că este „legată de afecțiuni precum bolile cardiovasculare, diabetul și cancerul și are un impact dramatic atât asupra speranței de viață, cât și asupra calității vieții”. De asemenea, ne spune că oamenii întâmpină dificultăți în a schimba „obiceiurile de dietă și de exerciții fizice”. De asemenea, că Food Logging ajută oamenii să facă astfel de schimbări. Apoi ne spune că „înregistrarea alimentelor este cunoscută a fi bine corelată cu creșterea pierderii inițiale în greutate și cu o menținere îmbunătățită a greutății”.

Cum poate fi îmbunătățită înregistrarea alimentelor?

Eficacitatea înregistrării alimentelor este limitată de cât de incomod poate fi. O abordare tehnologică care ar putea ajuta ar fi de a face înregistrarea alimentelor mai automată, este prin deducerea informațiilor nutriționale dintr-o singură imagine a alimentelor. Există limite ale cât de eficient poate fi făcut acest lucru din mai multe motive. Acest brevet se concentrează pe utilizarea imaginilor precum cele pentru a obține informații nutriționale despre mese. Se pare ca:

1. Unele alimente pot fi ascunse în imagini, ceea ce face ca informațiile să fie ratate.
2., Este „putin probabil ca informațiile vizuale să transmită numai toate detaliile pregătirii alimentelor”, cum ar fi cantitatea de ulei, conținutul de grăsimi din carne, conținutul de zahăr, conținutul de sare etc.)
3 Poate fi dificil să estimați volumele de alimente și din imagini individuale.

Provocări ale urmăririi nutriției din imagini atunci când înregistrarea alimentelor

În mod ideal, poate fi dificil să estimați cantitățile de calorii, grăsimi, carbohidrați etc.) din imagini unice ale meselor realiste. A face acest lucru dintr-o singură imagine poate fi o provocare și nu foarte ușor de utilizat.

Adesea, accentul se pune pe „provocările de bază ale vederii computerizate, folosind ceva de genul „Setul de date de imagini fast-food Pittsburgh” sau „imaginile furnizate de utilizator și statisticile nutriționale pentru a începe clasificarea”. Acest lucru ar putea oferi informații limitate când vine vorba de mărimea porțiilor și de valorile nutriționale.

Brevetul subliniază, de asemenea, posibila utilizare a „evaluărilor manuale a informațiilor nutriționale bazate pe imagini ale alimentelor consumate”. Acest lucru ar putea necesita mult timp și efort din partea oamenilor, dar ni se spune că rezultatele tind să fie „asemănătoare cu cele furnizate de un dietetician”.

Învățare automată a modelelor de mese

Având în vedere provocările de utilizare a imaginilor în înregistrarea alimentelor, brevetul oferă o abordare diferită care implică „învățarea sau antrenamentul unuia sau mai multor modele bazate pe imagini (denumite aici „modele de masă”) ale conținutului nutrițional al meselor.” Ni se spune că:

Antrenamentul modelelor de masă se bazează pe unul sau mai multe seturi de date de imagini ale meselor în combinație cu „trăsăturile mesei” care descriu diferiți parametri ai mesei. Exemplele de caracteristici ale mesei includ, dar nu se limitează la, tipul de mâncare, conținutul mesei, dimensiunea porției, conținutul nutrițional (de exemplu, calorii, vitamine, minerale, carbohidrați, proteine, sare etc.), o sursă de hrană (de exemplu, anumite restaurante sau lanțuri de restaurante, magazine alimentare, anumite alimente preambalate, mese școlare, mese preparate acasă etc.), ingrediente etc. Dacă sursa sau locația meselor este cunoscută, modelul de masă poate include clasificatori specifici sursei care pot fi folosit pentru a restrânge recunoașterea pe baza anumitor surse sau locații.

Un înregistrator de alimente care poate folosi acele imagini model de masă poate „adăuga, elimina sau modifica orice parametri (de exemplu, dimensiunea porției, dimensiunea farfurii, garnituri, băuturi etc.) utilizați pentru a estima conținutul nutrițional al anumitor mese care sunt consumate de utilizator.” O interfață cu utilizatorul ar fi capabilă să facă lucruri precum „adaugă o lingură de unt la un cartof copt”.

Aceste modele de mese se pot baza pe imagini și informații din surse precum „restaurante speciale, mese gătite acasă, mese școlare etc.”

Ni se spune că o componentă de învățare automată a unui program de înregistrare a alimentelor ar putea fi utilizată pentru a afla sau pentru a instrui modele de mese, iar informațiile din acele imagini ar putea fi „fie capturate de utilizator (de exemplu, cameră, telefon mobil, ochelari de vedere purtati pe cap. cu una sau mai multe camere sau dispozitive de imagistică etc.) sau capturate cu una sau mai multe camere sau dispozitive de imagistică poziționate pentru a capta automat imagini ale produselor alimentare ale meselor complete care urmează să fie consumate de utilizator.”

Informațiile nutriționale capturate de acest sistem ar putea fi apoi studiate ulterior de o persoană care folosește acest sistem.

Dacă o masă a fost consumată la un restaurant, programul Food Logger ar putea folosi tehnici de urmărire sau de localizare, cum ar fi GPS, 0 localizare bazată pe turnuri celulare, RFID sau specificarea utilizatorului a locației curente (de exemplu, tastarea numelui restaurantului, folosind introducerea vocală, selectând dintr-o listă de restaurante preferate etc.), pentru a determina unde se află utilizatorul atunci când imaginea mesei este furnizată pentru recunoaștere. După cum ne spune brevetul:

…de exemplu, dacă utilizatorul se află la „Solo Grill” de pe King Street din Toronto, Canada, Food Logger constrânge apoi procesul de recunoaștere a imaginii mesei la informațiile nutriționale din modelul de masă pentru mesele identificate ca provenind de la Solo Grill.

Captarea informațiilor despre modelul de masă dintr-un loc, cum ar fi un restaurant, poate face mai probabil ca niciun produs alimentar să nu fie ratat și toate informațiile nutriționale au fost capturate, „prin luarea în considerare a mesei ca o entitate întreagă pe bază de restaurant, informații suplimentare precum deoarece ingredientele (de exemplu, sos de arahide, crustacee etc.) și detaliile de preparare (de exemplu, coapte, prăjite, braconate etc.) pot fi codificate în modelul de masă împreună cu informațiile nutriționale corespunzătoare.”

Acest lucru sună ca și cum ar fi util și convenabil pentru cineva care încearcă să-și înregistreze consumul de alimente.

Brevetul descrie, de asemenea, alte posibilități de captare a informațiilor despre mese:

În mod avantajos, meniurile text care descriu anumite mese pentru majoritatea restaurantelor sunt, în general, ușor disponibile dintr-o mare varietate de surse online, de exemplu, site-uri precum Yelp.RTM. sau Foursquare.com sau site-urile web ale restaurantelor individuale. Mai mult, un procent mare de astfel de meniuri text includ, de asemenea, informații nutriționale (de obicei conținut caloric, cel puțin și adesea informații nutriționale suplimentare). De asemenea, rețineți că, dacă nu sunt disponibile în combinație cu meniul, estimările informațiilor nutriționale pentru a fi utilizate în construirea de exemple etichetate pentru modelele de mese de antrenament pot fi codificate manual, pot fi estimate pe baza unor mese similare din alte restaurante sau surse etc.

Brevetul ne spune, de asemenea, că ar putea fi posibil să obținem informații despre mese și nutriția lor din căutări pe Web.

Brevetul este:

Înregistrarea alimentelor din imagini
Inventatori: Neel Suresh Joshi, Siddharth Khullar, T Scott Saponas, Daniel Morris și Oscar Beijbom
Cesionar: Microsoft Technology Licensing, LLC (Redmond, WA)
Brevet SUA: 9.977.980
Acordat: 22 mai 2018
Depus: 17 aprilie 2017

Abstract

Un „Food Logger” oferă diverse abordări pentru învățarea sau formarea unuia sau mai multor modele bazate pe imagini (denumite aici „modele de masă”) ale conținutului nutrițional al meselor. Acest antrenament se bazează pe unul sau mai multe seturi de date de imagini ale meselor în combinație cu „trăsăturile mesei” care descriu diferiți parametri ai mesei. Exemplele de caracteristici ale mesei includ, dar nu se limitează la, tipul de mâncare, conținutul mesei, dimensiunea porției, conținutul nutrițional (de exemplu, calorii, vitamine, minerale, carbohidrați, proteine, sare etc.), o sursă de hrană (de exemplu, anumite restaurante sau lanțuri de restaurante, magazine alimentare, anumite alimente preambalate, mese școlare, mese preparate acasă etc.). Având în vedere modelele antrenate, Food Logger furnizează automat estimări ale informațiilor nutriționale bazate pe recunoașterea automată a noilor imagini ale meselor furnizate de (sau pentru) utilizator. Aceste informații nutriționale sunt apoi utilizate pentru a permite o gamă largă de interacțiuni centrate pe utilizator legate de alimentele consumate de utilizatorii individuali.

Take Aways care implică înregistrarea alimentelor

Acesta este un exemplu al modului în care un furnizor de căutare ar putea încerca să ajute mulți oameni folosind o abordare de învățare automată și folosind informații pe care le-ar putea obține din surse externe sau pe care le-ar putea căuta pe web. Dacă informațiile nutriționale ar fi disponibile pentru articolele de meniu online în date structurate, un sistem de înregistrare a alimentelor precum cel descris în acest brevet ar putea fi și mai ușor de dezvoltat.

Ar fi interesant să-l vezi prinzând viață.