Microsoft Patents Food Logging melalui Gambar

Microsoft Menargetkan Pencatatan Makanan dari Makanan Bergizi

Saya telah mencoba untuk melihat apa yang saya makan dan merekam latihan dengan sepeda stasioner dan dengan band resistensi. Beberapa situs dapat melacaknya, dan mereka dapat memperkirakan berapa banyak kalori yang Anda konsumsi dengan makanan Anda, dan berapa banyak yang dapat Anda bakar dengan berolahraga. Saya terkejut melihat paten dari Microsoft yang menjelaskan pendekatan yang sedikit berbeda untuk melacak makanan dan nilai gizi, menggunakan proses yang disebut sebagai pencatatan makanan. Fokus paten adalah visual, mengambil foto dari apa yang Anda makan, dan membiarkannya mencoba melacak apa yang Anda makan dan menganalisisnya. Kedengarannya menarik, dan saya ingin mencobanya suatu hari nanti. Ingin tahu apakah ini mungkin menjadi fitur di Bing, atau melalui situs lain yang dijalankan oleh Microsoft.

Paten yang diberikan minggu ini mencakup peningkatan proses pencatatan asupan makanan oleh seseorang, untuk mencoba memperbaikinya. Dimulai dengan memberi tahu kita tentang “Food Logging”, yaitu “memantau makanan yang dimakan oleh individu bersama dengan berbagai informasi nutrisi yang terkait dengan makanan itu” dan memberitahu kita tentang beberapa alasan mengapa orang melakukan food logging. Ini termasuk:

Mengurangi Obesitas, yang menurut paten itu "terkait dengan kondisi seperti penyakit kardiovaskular, diabetes, dan kanker, dan secara dramatis berdampak pada harapan hidup dan kualitas hidup." Ini juga memberi tahu kita bahwa orang mengalami kesulitan dalam membuat perubahan pada "pola makan dan olahraga". Juga, Pencatatan Makanan itu membantu mendukung orang-orang membuat perubahan seperti itu. Ini kemudian memberi tahu kita bahwa, "pencatatan makanan diketahui berkorelasi baik dengan peningkatan penurunan berat badan awal dan peningkatan pemeliharaan berat badan."

Bagaimana Penebangan Makanan dapat Ditingkatkan?

Efektivitas Food Logging dibatasi oleh seberapa tidak nyamannya hal itu. Pendekatan teknologi yang dapat membantu membuat pencatatan makanan menjadi lebih otomatis, adalah dengan menyimpulkan informasi nutrisi dari satu citra makanan. Ada batasan seberapa efektif hal itu dapat dilakukan karena beberapa alasan. Paten ini berfokus pada penggunaan gambar seperti itu untuk mendapatkan informasi nutrisi tentang makanan. Tampaknya:

1. Beberapa makanan mungkin tersembunyi dalam gambar, menyebabkan informasi terlewatkan.
2., “Tidak mungkin informasi visual saja yang menyampaikan semua detail persiapan makanan” seperti jumlah minyak, kandungan lemak daging, kandungan gula, kandungan garam, dll.)
3 Mungkin sulit untuk memperkirakan volume makanan dari satu gambar juga.

Tantangan Melacak Nutrisi dari Gambar saat Pencatatan Makanan

Idealnya, mungkin sulit untuk memperkirakan jumlah kalori, lemak, karbohidrat, dll.) dari satu gambar makanan realistis. Melakukannya dari satu gambar bisa jadi menantang, dan tidak terlalu ramah pengguna.

Seringkali fokusnya adalah pada "tantangan visi komputer inti, menggunakan sesuatu seperti "Dataset Gambar Makanan Cepat Saji Pittsburgh", atau "gambar yang disediakan pengguna dan statistik nutrisi untuk klasifikasi bootstrap." Ini mungkin memberikan informasi yang terbatas dalam hal ukuran porsi dan nilai gizi.

Paten tersebut juga menunjukkan kemungkinan penggunaan “penilaian informasi nutrisi yang bersumber dari kerumunan secara manual berdasarkan gambar makanan yang dikonsumsi.” Ini bisa memakan cukup banyak waktu dan usaha oleh orang-orang, tetapi kami diberitahu bahwa hasilnya cenderung "mirip dengan yang diberikan oleh ahli gizi."

Pembelajaran Mesin Model Makanan

Mengingat tantangan menggunakan gambar dalam Pencatatan Makanan, paten memberikan pendekatan berbeda yang melibatkan "belajar atau pelatihan satu atau lebih model berbasis gambar (disebut di sini sebagai "model makanan") dari kandungan nutrisi makanan." Kami diberitahu bahwa:

Pelatihan model makanan didasarkan pada satu atau lebih kumpulan data gambar makanan yang dikombinasikan dengan "fitur makanan" yang menggambarkan berbagai parameter makanan. Contoh fitur makanan termasuk namun tidak terbatas pada, jenis makanan, isi makanan, ukuran porsi, kandungan nutrisi (misalnya, kalori, vitamin, mineral, karbohidrat, protein, garam, dll.), sumber makanan (misalnya, restoran atau rantai restoran, toko kelontong, makanan kemasan tertentu, makanan sekolah, makanan yang disiapkan di rumah, dll.), bahan, dll. Jika sumber atau lokasi makanan diketahui, model makanan dapat mencakup pengklasifikasi khusus sumber yang dapat digunakan untuk membatasi pengenalan berdasarkan sumber atau lokasi tertentu.

Pencatat makanan yang mungkin menggunakan gambar model makanan tersebut mungkin dapat “menambah, menghapus, atau mengubah parameter apa pun (misalnya, ukuran porsi, ukuran piring, lauk pauk, minuman, dll.) yang digunakan untuk memperkirakan kandungan nutrisi makanan tertentu yang dikonsumsi oleh pengguna.” Antarmuka pengguna akan mampu melakukan hal-hal seperti "menambahkan satu sendok makan mentega ke kentang panggang."

Model makanan ini dapat didasarkan pada gambar dan informasi dari sumber seperti “restoran tertentu, makanan rumahan, makanan sekolah, dll.”

Kami diberitahu bahwa komponen pembelajaran mesin dari program pencatat makanan dapat digunakan untuk mempelajari atau melatih model makanan, dan informasi dari gambar tersebut kemudian dapat "diambil oleh pengguna (misalnya, kamera, ponsel, kacamata yang dikenakan di kepala). dengan satu atau lebih kamera atau perangkat pencitraan, dll.) atau ditangkap melalui satu atau lebih kamera atau perangkat pencitraan yang diposisikan untuk secara otomatis menangkap gambar makanan dari makanan lengkap yang akan dikonsumsi oleh pengguna.”

Informasi gizi yang ditangkap oleh sistem ini kemudian dapat dipelajari kemudian oleh seseorang yang menggunakan sistem ini.

Jika makanan dimakan di restoran, program Food Logger dapat menggunakan teknik pelacakan atau pelokalan, seperti GPS,0 lokalisasi berbasis menara seluler, RFID, atau spesifikasi pengguna dari lokasi saat ini (misalnya, mengetik nama restoran, menggunakan input ucapan, memilih dari daftar restoran favorit, dll.), untuk menentukan di mana pengguna berada saat gambar makanan disediakan untuk dikenali. Seperti yang dikatakan paten kepada kita:

…misalnya, ketika pengguna berada di “Solo Grill” di King Street di Toronto, Kanada, Food Logger kemudian membatasi proses pengenalan gambar makanan ke informasi nutrisi dalam model makanan untuk makanan yang diidentifikasi berasal dari Solo Grill.

Menangkap informasi model makanan dari tempat seperti restoran dapat membuat kemungkinan besar tidak ada makanan yang terlewatkan, dan semua informasi nutrisi ditangkap, “dengan mempertimbangkan makanan sebagai satu kesatuan pada basis per-restoran, informasi tambahan seperti sebagai bahan (misalnya, saus kacang, kerang, dll.) dan rincian persiapan (misalnya, dipanggang, digoreng, direbus, dll.) dapat dikodekan ke dalam model makanan bersama dengan informasi nutrisi yang sesuai.”

Ini memang terdengar seperti akan membantu dan nyaman bagi seseorang yang mencoba mencatat asupan makanan mereka.

Paten juga menjelaskan beberapa kemungkinan lain untuk menangkap informasi tentang makanan:

Secara menguntungkan, menu teks yang menjelaskan makanan tertentu untuk sebagian besar restoran umumnya tersedia dengan mudah dari berbagai sumber online, misalnya situs seperti Yelp.RTM. atau Foursquare.com, atau situs web masing-masing restoran. Selanjutnya, persentase yang tinggi dari menu teks tersebut juga mencakup informasi nutrisi (biasanya kandungan kalori, setidaknya, dan seringkali informasi nutrisi tambahan). Perhatikan juga bahwa jika tidak tersedia dalam kombinasi dengan menu, perkiraan informasi nutrisi untuk digunakan dalam membuat contoh berlabel untuk model makanan pelatihan dapat dikodekan dengan tangan, bersumber dari kerumunan, diperkirakan berdasarkan makanan serupa dari restoran atau sumber lain, dll.

Paten juga memberi tahu kita bahwa mungkin untuk mendapatkan informasi tentang makanan dan nutrisinya dari pencarian di Web.

patennya adalah:

Pencatatan makanan dari gambar
Penemu: Neel Suresh Joshi, Siddharth Khullar, T Scott Saponas, Daniel Morris, dan Oscar Beijbom
Penerima: Microsoft Technology Licensing, LLC (Redmond, WA)
Paten AS: 9.977.980
Diberikan: 22 Mei 2018
Diarsipkan: 17 April 2017

Abstrak

“Food Logger” menyediakan berbagai pendekatan untuk mempelajari atau melatih satu atau lebih model berbasis gambar (disebut di sini sebagai “model makanan”) dari kandungan nutrisi makanan. Pelatihan ini didasarkan pada satu atau lebih kumpulan data gambar makanan yang dikombinasikan dengan "fitur makanan" yang menggambarkan berbagai parameter makanan. Contoh fitur makanan termasuk namun tidak terbatas pada, jenis makanan, isi makanan, ukuran porsi, kandungan nutrisi (misalnya, kalori, vitamin, mineral, karbohidrat, protein, garam, dll.), sumber makanan (misalnya, restoran atau rantai restoran, toko kelontong, makanan kemasan tertentu, makanan sekolah, makanan yang disiapkan di rumah, dll.). Dengan model terlatih, Pencatat Makanan secara otomatis memberikan perkiraan informasi nutrisi berdasarkan pengenalan otomatis gambar baru makanan yang disediakan oleh (atau untuk) pengguna. Informasi nutrisi ini kemudian digunakan untuk memungkinkan berbagai interaksi yang berpusat pada pengguna yang berkaitan dengan makanan yang dikonsumsi oleh pengguna individu.

Take Away melibatkan Food Logging

Ini adalah salah satu contoh bagaimana penyedia pencarian dapat mencoba membantu banyak orang menggunakan pendekatan pembelajaran mesin, dan menggunakan informasi yang dapat diperoleh dari sumber eksternal, atau mencari di Web. Jika informasi nutrisi tersedia untuk item menu online dalam data terstruktur, sistem pencatat makanan seperti yang dijelaskan dalam paten ini mungkin akan lebih mudah dikembangkan.

Akan menarik melihatnya menjadi hidup.