การบันทึกอาหารสิทธิบัตรของ Microsoft ผ่านรูปภาพ

Microsoft กำหนดเป้าหมายการบันทึกอาหารของมื้ออาหารที่มีคุณค่าทางโภชนาการ

ฉันพยายามดูสิ่งที่ฉันกินและบันทึกการออกกำลังกายด้วยจักรยานที่อยู่กับที่และด้วยแถบต้านทาน บางเว็บไซต์สามารถติดตามสิ่งเหล่านั้นได้ และพวกเขาสามารถประมาณจำนวนแคลอรี่ที่คุณบริโภคไปกับมื้ออาหารของคุณ และจำนวนแคลอรี่ที่คุณอาจเผาผลาญได้ด้วยการออกกำลังกาย ฉันรู้สึกประหลาดใจที่เห็นสิทธิบัตรจาก Microsoft ที่อธิบายแนวทางที่แตกต่างกันเล็กน้อยในการติดตามอาหารและคุณค่าทางโภชนาการ โดยใช้กระบวนการที่เรียกว่าการบันทึกอาหาร จุดสนใจของสิทธิบัตรคือภาพที่มองเห็นได้ การถ่ายภาพสิ่งที่คุณกิน และปล่อยให้มันพยายามติดตามสิ่งที่คุณกินและวิเคราะห์ ฟังดูน่าสนใจและฉันอยากจะลองมันสักวันหนึ่ง สงสัยว่านี่อาจกลายเป็นฟีเจอร์ใน Bing หรือผ่านไซต์อื่นที่ Microsoft เรียกใช้

สิทธิบัตรที่ได้รับในสัปดาห์นี้ครอบคลุมถึงการปรับปรุงกระบวนการบันทึกการบริโภคอาหารของบุคคล เพื่อปรับปรุงให้ดีขึ้น เริ่มต้นด้วยการบอกเราเกี่ยวกับ "การบันทึกอาหาร" ซึ่งเป็น "การตรวจสอบอาหารที่บุคคลรับประทานพร้อมกับข้อมูลทางโภชนาการต่างๆ ที่เกี่ยวข้องกับอาหารนั้น" และบอกเราถึงเหตุผลบางประการที่ผู้คนมีส่วนร่วมในการตัดไม้อาหาร ซึ่งรวมถึง:

การลดความอ้วน ซึ่งสิทธิบัตรบอกเราว่า "เชื่อมโยงกับสภาวะต่างๆ เช่น โรคหัวใจและหลอดเลือด เบาหวาน และมะเร็ง และส่งผลอย่างมากทั้งต่ออายุขัยและคุณภาพชีวิต" นอกจากนี้ยังบอกเราด้วยว่าผู้คนมีปัญหาในการเปลี่ยนแปลง "พฤติกรรมการรับประทานอาหารและการออกกำลังกาย" นอกจากนี้ Food Logging ยังช่วยสนับสนุนผู้ที่ทำการเปลี่ยนแปลงดังกล่าว จากนั้นจะบอกเราว่า "การบันทึกอาหารเป็นที่ทราบกันดีว่ามีความสัมพันธ์ที่ดีกับการลดน้ำหนักเริ่มต้นที่เพิ่มขึ้นและการรักษาน้ำหนักที่ดีขึ้น"

การบันทึกอาหารจะปรับปรุงได้อย่างไร?

ประสิทธิผลของการบันทึกอาหารถูกจำกัดด้วยความไม่สะดวก วิธีการทางเทคโนโลยีที่สามารถช่วยให้การบันทึกอาหารเป็นไปอย่างอัตโนมัติมากขึ้น โดยการอนุมานข้อมูลทางโภชนาการจากภาพอาหารเดียว มีข้อจำกัดในประสิทธิภาพที่อาจทำได้ด้วยเหตุผลหลายประการ สิทธิบัตรนี้เน้นที่การใช้ภาพเช่นเพื่อให้ได้ข้อมูลทางโภชนาการเกี่ยวกับมื้ออาหาร ดูเหมือนว่า:

1. อาหารบางอย่างอาจซ่อนอยู่ในภาพ ทำให้ข้อมูลพลาดไป
2. "ไม่น่าจะเป็นไปได้ที่ข้อมูลภาพเพียงอย่างเดียวจะสื่อถึงรายละเอียดทั้งหมดของการเตรียมอาหาร" เช่น ปริมาณน้ำมัน ปริมาณไขมันในเนื้อสัตว์ ปริมาณน้ำตาล ปริมาณเกลือ ฯลฯ)
3 การประมาณปริมาณอาหารจากภาพเดียวก็เป็นเรื่องยากเช่นกัน

ความท้าทายในการติดตามโภชนาการจากภาพเมื่อบันทึกอาหาร

ตามหลักการแล้ว อาจเป็นเรื่องยากที่จะประมาณปริมาณแคลอรี ไขมัน คาร์โบไฮเดรต ฯลฯ) จากภาพเดียวของมื้ออาหารที่เหมือนจริง การทำเช่นนี้จากภาพเดียวอาจเป็นเรื่องที่ท้าทายและไม่เป็นมิตรกับผู้ใช้มากนัก

มักเน้นที่ "ความท้าทายหลักในการมองเห็นคอมพิวเตอร์ โดยใช้บางอย่างเช่น "ชุดข้อมูลภาพฟาสต์ฟู้ดของ Pittsburgh" หรือ "ภาพที่ผู้ใช้จัดหาและสถิติทางโภชนาการเพื่อจำแนกประเภทบูตสแตรป" ข้อมูลนี้อาจให้ข้อมูลที่จำกัดเมื่อพูดถึงขนาดชิ้นส่วนและคุณค่าทางโภชนาการ

สิทธิบัตรยังชี้ให้เห็นถึงความเป็นไปได้ในการใช้ ผู้คนอาจต้องใช้เวลาและความพยายามพอสมควร แต่เราได้รับแจ้งว่าผลลัพธ์มักจะ “คล้ายกับผลลัพธ์ที่ได้จากนักกำหนดอาหาร”

แมชชีนเลิร์นนิงของแบบจำลองอาหาร

ด้วยความท้าทายในการใช้ภาพในการบันทึกอาหาร สิทธิบัตรได้ให้แนวทางที่แตกต่างออกไปซึ่งเกี่ยวข้องกับ "การเรียนรู้หรือฝึกอบรมแบบจำลองตามภาพตั้งแต่หนึ่งรูปแบบขึ้นไป (ที่อ้างถึงในที่นี้เป็น "แบบจำลองมื้ออาหาร") ของเนื้อหาทางโภชนาการของมื้ออาหาร เราได้รับแจ้งว่า:

การฝึกอบรมแบบจำลองมื้ออาหารอิงตามชุดข้อมูลของรูปภาพอาหารอย่างน้อยหนึ่งชุดร่วมกับ "ลักษณะอาหาร" ที่อธิบายพารามิเตอร์ต่างๆ ของมื้ออาหาร ตัวอย่างของลักษณะอาหารรวมถึงแต่ไม่จำกัดเฉพาะประเภทอาหาร ปริมาณอาหาร ขนาดส่วน ปริมาณสารอาหาร (เช่น แคลอรี่ วิตามิน แร่ธาตุ คาร์โบไฮเดรต โปรตีน เกลือ เป็นต้น) แหล่งอาหาร (เช่น ร้านอาหารเฉพาะหรือ เครือร้านอาหาร ร้านขายของชำ อาหารสำเร็จรูปโดยเฉพาะ อาหารโรงเรียน อาหารที่ปรุงที่บ้าน ฯลฯ ) ส่วนผสม ฯลฯ หากทราบแหล่งที่มาหรือที่ตั้งของอาหาร แบบจำลองมื้ออาหารอาจรวมถึงตัวแยกประเภทเฉพาะแหล่งที่มาที่สามารถ ใช้เพื่อจำกัดการรับรู้ตามแหล่งที่มาหรือสถานที่เฉพาะ

คนตัดไม้อาหารที่อาจใช้ภาพแบบจำลองมื้ออาหารเหล่านั้นอาจสามารถ “เพิ่ม ลบ หรือแก้ไขพารามิเตอร์ใดๆ (เช่น ขนาดส่วน ขนาดจาน เครื่องเคียง เครื่องดื่ม ฯลฯ) ที่ใช้ในการประมาณเนื้อหาทางโภชนาการของอาหารบางมื้อ ที่ผู้ใช้บริโภค” อินเทอร์เฟซผู้ใช้จะสามารถทำสิ่งต่างๆ เช่น "ใส่เนยหนึ่งช้อนโต๊ะลงในมันฝรั่งอบ"

โมเดลอาหารเหล่านี้อาจอิงตามรูปภาพและข้อมูลจากแหล่งต่างๆ เช่น "ร้านอาหารเฉพาะ อาหารทำเอง อาหารโรงเรียน ฯลฯ"

เราได้รับแจ้งว่าส่วนประกอบการเรียนรู้ของเครื่องจักรของโปรแกรมคนตัดไม้อาหารอาจถูกใช้เพื่อเรียนรู้หรือฝึกแบบจำลองมื้ออาหาร และข้อมูลจากภาพเหล่านั้นอาจถูก "ผู้ใช้จับภาพได้ (เช่น กล้อง โทรศัพท์มือถือ แว่นตาที่สวมศีรษะ) ด้วยกล้องหนึ่งตัวหรือมากกว่าหรืออุปกรณ์สร้างภาพ ฯลฯ) หรือถ่ายโดยใช้กล้องหรืออุปกรณ์สร้างภาพอย่างน้อยหนึ่งตัวในตำแหน่งที่จะจับภาพรายการอาหารของอาหารมื้อสมบูรณ์ที่ผู้ใช้จะบริโภคโดยอัตโนมัติ”

ข้อมูลทางโภชนาการที่บันทึกโดยระบบนี้สามารถศึกษาได้ในภายหลังโดยบุคคลที่ใช้ระบบนี้

หากมีการรับประทานอาหารที่ร้านอาหาร โปรแกรม Food Logger สามารถใช้เทคนิคการติดตามหรือโลคัลไลเซชัน เช่น GPS,0 การแปลตามเสาเซลล์, RFID หรือข้อกำหนดผู้ใช้ของตำแหน่งปัจจุบัน (เช่น การพิมพ์ชื่อร้านอาหาร การใช้คำพูด เลือกจากรายชื่อร้านอาหารที่ชื่นชอบ ฯลฯ) เพื่อกำหนดว่าผู้ใช้อยู่ที่ไหนเมื่อมีการระบุภาพอาหารเพื่อให้จดจำ ตามที่สิทธิบัตรบอกเรา:

…ตัวอย่างเช่น เมื่อผู้ใช้อยู่ที่ "Solo Grill" ที่ King Street ในโตรอนโต ประเทศแคนาดา Food Logger จะจำกัดกระบวนการจดจำภาพอาหารให้เข้ากับข้อมูลทางโภชนาการในแบบจำลองมื้ออาหารสำหรับมื้ออาหารที่ระบุว่ามีที่มาจาก Solo Grill

การเก็บข้อมูลรูปแบบมื้ออาหารจากสถานที่ต่างๆ เช่น ร้านอาหารอาจทำให้มีแนวโน้มว่าจะไม่มีการพลาดรายการอาหารใดๆ และข้อมูลทางโภชนาการทั้งหมดจะถูกบันทึกไว้ “โดยการพิจารณามื้ออาหารโดยรวมในแต่ละร้านอาหาร เนื่องจากส่วนผสม (เช่น ซอสถั่วลิสง หอย ฯลฯ) และรายละเอียดการเตรียมการ (เช่น อบ ทอด ลวก ฯลฯ) สามารถเข้ารหัสลงในแบบจำลองมื้ออาหารพร้อมกับข้อมูลทางโภชนาการที่เกี่ยวข้องได้”

ดูเหมือนว่าจะเป็นประโยชน์และสะดวกสำหรับผู้ที่พยายามบันทึกการรับประทานอาหารของตน

สิทธิบัตรยังอธิบายถึงความเป็นไปได้อื่นๆ บางประการในการรวบรวมข้อมูลเกี่ยวกับมื้ออาหาร:

ข้อดี เมนูข้อความที่อธิบายอาหารเฉพาะสำหรับร้านอาหารส่วนใหญ่มักจะหาได้ง่ายจากแหล่งข้อมูลออนไลน์ที่หลากหลาย เช่น เว็บไซต์เช่น Yelp.RTM หรือ Foursquare.com หรือเว็บไซต์ของร้านอาหารแต่ละแห่ง นอกจากนี้ เปอร์เซ็นต์ที่สูงของเมนูข้อความดังกล่าวยังรวมถึงข้อมูลทางโภชนาการด้วย (โดยทั่วไปคือเนื้อหาแคลอรี่ อย่างน้อย และมักจะให้ข้อมูลทางโภชนาการเพิ่มเติม) นอกจากนี้ โปรดทราบด้วยว่า หากไม่มีร่วมกับเมนู การประมาณข้อมูลทางโภชนาการสำหรับใช้ในการสร้างตัวอย่างที่มีฉลากสำหรับแบบจำลองมื้ออาหารสำหรับการฝึก สามารถเขียนรหัสด้วยมือ รวบรวมจากฝูงชน ประมาณโดยอิงจากอาหารที่คล้ายกันจากร้านอาหารหรือแหล่งที่มาอื่นๆ เป็นต้น

สิทธิบัตรยังบอกเราด้วยว่าอาจเป็นไปได้ที่จะได้รับข้อมูลเกี่ยวกับอาหารและโภชนาการจากการค้นหาบนเว็บ

สิทธิบัตรคือ:

บันทึกอาหารจากภาพ
ผู้ประดิษฐ์: Neel Suresh Joshi, Siddharth Khullar, T Scott Saponas, Daniel Morris และ Oscar Beijbom
ผู้รับมอบหมาย: Microsoft Technology Licensing, LLC (เรดมันด์ รัฐวอชิงตัน)
สิทธิบัตรสหรัฐอเมริกา: 9,977,980
ได้รับ: 22 พฤษภาคม 2018
ยื่น: 17 เมษายน 2017

เชิงนามธรรม

“เครื่องบันทึกอาหาร” จัดให้มีแนวทางที่หลากหลายสำหรับการเรียนรู้หรือฝึกอบรมแบบจำลองที่มีภาพเป็นหลัก (ในที่นี้เรียกว่า “แบบจำลองมื้ออาหาร”) ของเนื้อหาทางโภชนาการของมื้ออาหาร การฝึกอบรมนี้อิงตามชุดข้อมูลของรูปภาพอาหารอย่างน้อยหนึ่งชุดร่วมกับ "ลักษณะอาหาร" ที่อธิบายพารามิเตอร์ต่างๆ ของมื้ออาหาร ตัวอย่างของลักษณะอาหารรวมถึงแต่ไม่จำกัดเฉพาะประเภทอาหาร ปริมาณอาหาร ขนาดส่วน ปริมาณสารอาหาร (เช่น แคลอรี่ วิตามิน แร่ธาตุ คาร์โบไฮเดรต โปรตีน เกลือ เป็นต้น) แหล่งอาหาร (เช่น ร้านอาหารเฉพาะหรือ กลุ่มร้านอาหาร ร้านขายของชำ อาหารสำเร็จรูปโดยเฉพาะ อาหารโรงเรียน อาหารปรุงเองที่บ้าน ฯลฯ) ด้วยโมเดลที่ได้รับการฝึกอบรมแล้ว Food Logger จะให้ข้อมูลทางโภชนาการโดยประมาณโดยอัตโนมัติตามการจดจำอัตโนมัติของภาพอาหารใหม่ ๆ ที่ผู้ใช้ให้มา (หรือสำหรับ) จากนั้นข้อมูลทางโภชนาการนี้จะถูกใช้เพื่อเปิดใช้งานการโต้ตอบที่เน้นผู้ใช้เป็นศูนย์กลางที่หลากหลายซึ่งเกี่ยวข้องกับอาหารที่ผู้ใช้แต่ละคนบริโภค

Take Aways ที่เกี่ยวข้องกับการบันทึกอาหาร

นี่เป็นตัวอย่างหนึ่งของวิธีที่ผู้ให้บริการค้นหาอาจพยายามช่วยเหลือผู้คนจำนวนมากโดยใช้แนวทางการเรียนรู้ของเครื่อง และใช้ข้อมูลที่อาจได้รับจากแหล่งภายนอก หรือค้นหาบนเว็บ หากมีข้อมูลทางโภชนาการสำหรับรายการเมนูออนไลน์ในข้อมูลที่มีโครงสร้าง ระบบบันทึกอาหาร เช่น ระบบที่อธิบายในสิทธิบัตรนี้อาจพัฒนาได้ง่ายยิ่งขึ้น

มันจะน่าสนใจที่ได้เห็นมันมีชีวิตขึ้นมา