יצירת מערכת חכמה למקרר
-
ראיתי שיש דברים דומים לחלק מחברות המקררים וגם יש איזה חברה של מוצרים חכמים שעשתה משהו חלקי, מעניין אותי לדעת האם כזה דבר ניתן לייצור בצורה עצמאית [בתוספת דברים שלא ראיתי שקיים כיום]
מה שאני הייתי רוצה לעשות [עד שייאשו אותו כאן...] זה מצלמה במקרר שתצלם כל מה שנכנס וע"י זיהוי תמונה [אם ע"י אימון פשוט- אין כ"כ הרבה דברים שנכנסים בצורה קבועה למקרר, או שימוש בAI קיים] היא תקטלג את המוצרים, מה קיים ומה חסר.
הבונוס הגדול שאני רוצה שיהיה הוא משקל לכל מדף עם רמת דיוק של גרמים ישקול את המוצר ויידע כמה נשאר מהמוצר, לדוגמא הוצאנו גבינה שהיא 250 גרם וכשהחזרנו היא שוקלת רק 50 גרם תהיה התראה שצריך לקנות.
בונוסים קטנים זה בקטע תוכנתי ולכאורה פשוט יותר זה הכנת רשימת קניות, התאמה של מתכונים לעומת מה שקיים [לדוגמא, אני רוצה להכין עוגת גבינה אז התוכנה תתריע שאין מספיק גבינה...]
מה אומרים? זה דבר אפשרי לבנאדם פשוט?
לדעתי עיקר הבעיה כאן היא המשקל...מה שצריך זה:
מצלמה: מתאימה לטמפרטורה של המקרר, דרך לחבר אותה לחשמל בתוך המקרר.
משקל: צריך להתלבש מתחת למדף [לא יודע איך...] ולהיות מספיק רגיש, כנ"ל חשמל.קישורית: חיבור המצלמה והמשקל לאינטרנט.
אפליקציה/אתר: זיהוי תמונה/API לAI קיים. יצירת רשימה של המוצרים והמשקל שלהם.מה אומרים?!.... דמיוני?! מסובך מדי?
-
דמיוני? לא, אלף שעות? כן, לבן אדם פשוט? אם יש לו הכישורים הבאים, AI תכנות, אינטגרציות עם כל מיני API , חשמל, בנייה - אז הוא כבר לא בנאדם פשוט (אם לוקחים בחשבון שבזמן הזה האדם כבר היה יכול ללמוד ש"ֶס וד"ח בבקיאות לכה"פ, הוא פשוט חבל על הזמן).
או אם יש לך הכסף לשלם למי שיש לו הכישורים אז אתה יכול להיות אדם פשוט ואולי גם תלמיד חכם לא פשוט
לדעתי עיקר הבעיא הוא ללמד הAI איך לחלק התמונה לחפצים בודדים לזיהוי ולקבל המקום הגיאגרפי.
צריכים גם לאסוף רשימה של מצרכים עם המשקל הנקי ולפי מ"ג שלהם
צריכים גם לקחת בחשבון הטמפרטורה של המוצר, ק"ג של מים הוא פחות מן ליטר בתוך המקרר
מצלמה יכול להיות מבעד לחלון, ואז גם בעית החשמל מסודר
עפ"ר המשקלות יש להם אינטרפייס של USB serial, רספברי יכול להעביר הנתונים לרשת
יהיה קל יותר עם מקרר ציבורית, שמובנה באופן מותאם, עם מיזוג
אם מניחים כמה פריטים על מדף אחד, איך יזהה המשקל, ראיתי פעם משקל של טבלא היודע משקל של כל נקודה לצורך בדיקת נעלים עם מדרסים, אבל איני יודע איפה קונים את זה. -
מעל 25 שנה עובדים על מקררים כאלו. LG יצא עם מקרר שעוקב אחרי המוצרים כבר בשנת 2000 אבל אף אחד לא קנה בגלל המחיר הגבוה.
בנוגע לאיך עושים את זה, אולי אפשר ללמוד מהחנויות של אמזון הנקראים Amazon Go. הלקוח נכנס לחנות מוריד מהמדפים מה שבא לו ויוצא. לא צריך לרשום מוצרים וגם לא לגשת לקופה, הכל בכל מתנהל על ידי המחשוב בחנות.
יש בחנות מלא מצלמות וחיישנים ונראה לי שהמדפים גם עם משקל.האתגר הגדול זה עיבוד נתונים מהמלצמות, חיישנים ומשקל יחד. והתוצאה של העיבוד צריך להיות בדיוק רב.
יש המון מוצרים שמאוד דומים והמקרר שלא תמיד תראה בבירור יצטרך לחשב על פי כל הנתונים העומדים לרשותו עד שיודע מה המוצר, יתכן שזה יקח כמה פעמים של הוצאה והכנסה למקרר עד שיבין אם זה גבינת שמנת שום שמיר או טעם אחר.אם תצליח להגיע לתוצאה מדויקת של כל מוצר שנמצא במקרר אח"כ תוכל לתכנת מיליון דברים.
-
אני לא יודע מה צריך להיות מיוחד במצלמה למקרר, בד"כ מוליכים עובדים טוב יותר בקירור.
אבל יש מצלמה קיימת עם הרבה פונקציות זיהוי מובנות בשם oak-d-lite, אתה יכול לחפש בגוגל אם יש שם את כל מה שאתה צריך. אם יש שם את היכולות זיהוי, הבנייה של מתכונים או רשימת קניות אמורה להיות ישים מאוד גם לאדם רגיל. -
@Whenever כתב ביצירת מערכת חכמה למקרר:
בנוגע לאיך עושים את זה, אולי אפשר ללמוד מהחנויות של אמזון הנקראים Amazon Go. הלקוח נכנס לחנות מוריד מהמדפים מה שבא לו ויוצא. לא צריך לרשום מוצרים וגם לא לגשת לקופה, הכל בכל מתנהל על ידי המחשוב בחנות.
יש בחנות מלא מצלמות וחיישנים ונראה לי שהמדפים גם עם משקל.כבר לא, הם ביטלו את זה בגלל שזה טעה הרבה, ושילמו להודים שיקטלגו את הוידאו יותר ממה ששילמו לקופאים שיעבירו מוצרים.
-
@Whenever כתב ביצירת מערכת חכמה למקרר:
האתגר הגדול זה עיבוד נתונים מהמלצמות, חיישנים ומשקל יחד. והתוצאה של העיבוד צריך להיות בדיוק רב.
אני לא צריך שהעיבוד יהיה יחד. החיישן משקל יהיה על כל המדף, יחושב לפני ההחזרה של המוצר ואחרי ההחזרה.
יש המון מוצרים שמאוד דומים והמקרר שלא תמיד תראה בבירור יצטרך לחשב על פי כל הנתונים העומדים לרשותו עד שיודע מה המוצר, יתכן שזה יקח כמה פעמים של הוצאה והכנסה למקרר עד שיבין אם זה גבינת שמנת שום שמיר או טעם אחר.
אתה צודק שבדברים דומים זה יהיה יותר בעייתי, אבל אני לא בטוח שיש כ"כ הרבה דברים דומים במקרר [עשיתי עכשיו סקירה קצרה במקרר שלי....]
-
@חגי כתב ביצירת מערכת חכמה למקרר:
@Whenever כתב ביצירת מערכת חכמה למקרר:
בנוגע לאיך עושים את זה, אולי אפשר ללמוד מהחנויות של אמזון הנקראים Amazon Go. הלקוח נכנס לחנות מוריד מהמדפים מה שבא לו ויוצא. לא צריך לרשום מוצרים וגם לא לגשת לקופה, הכל בכל מתנהל על ידי המחשוב בחנות.
יש בחנות מלא מצלמות וחיישנים ונראה לי שהמדפים גם עם משקל.כבר לא, הם ביטלו את זה בגלל שזה טעה הרבה, ושילמו להודים שיקטלגו את הוידאו יותר ממה ששילמו לקופאים שיעבירו מוצרים.
נראה לי ששם האתגר היה הרבה יותר גדול, חלל הרבה יותר גדול, כמות ענקית של מוצרים, הרבה יותר אנשים, הכל צריך לקרות ברגע האמת וכו' וכו', במקרר נורמלי לי באופן אישי זה נשמע הרבה יותר הגיוני... אבל לכן אני שואל...
-
@חגי כתב ביצירת מערכת חכמה למקרר:
אני לא יודע מה צריך להיות מיוחד במצלמה למקרר, בד"כ מוליכים עובדים טוב יותר בקירור.
לא יודע... אולי בעיות רטיבות וכדו'. צריך גם למצוא פתרון של העברת החשמל והתקשורת פנימה והחוצה.
אבל יש מצלמה קיימת עם הרבה פונקציות זיהוי מובנות בשם oak-d-lite, אתה יכול לחפש בגוגל אם יש שם את כל מה שאתה צריך.
זו מצלמה יקרה. אני לא חושב שיש צורך בכזה דבר, כבר היום ניתן לאמן בצורה פשוטה מודלים שבהצגת מוצר בפני מצלמת מחשב פשוטה הוא יידע לתאר מה הוא רואה. ובמידה ואנחנו מצמידים את התוצאות לרשימה קיימת, כלומר מקטלגים את המוצרים בפעם הראשונה זה אמור להיות מאד פשוט גם עם מצלמה פשוטה... [לפחות ככה אני מדמיין...]
-
@one1010 כתב ביצירת מערכת חכמה למקרר:
@Whenever כתב ביצירת מערכת חכמה למקרר:
האתגר הגדול זה עיבוד נתונים מהמלצמות, חיישנים ומשקל יחד. והתוצאה של העיבוד צריך להיות בדיוק רב.
אני לא צריך שהעיבוד יהיה יחד. החיישן משקל יהיה על כל המדף, יחושב לפני ההחזרה של המוצר ואחרי ההחזרה.
זה הכוונה שיעבדו יחד. המחשב צריך לדעת שעכשיו מכניסים חלב וזה כנראה על פי מצלמה. ואח"כ לחשב את תוספת המשקל שנח עליו ולהוסיף לrecord של החלב את המשקל הנוכחי.
גם מה קורה שמכניסים שני דברים ביחד לאותו מדף? איך נדע כמה משקל ירד מכל מוצר? -
@yagoodjew כתב ביצירת מערכת חכמה למקרר:
לדעתי עיקר הבעיא הוא ללמד הAI איך לחלק התמונה לחפצים בודדים לזיהוי ולקבל המקום הגיאגרפי.
אני לא צריך שהוא יזהה את המיקום המדויק. המשקל של המדף כולו משתנה אם אני מכניס חבילת גבינה. ואם המצלמה תזהה שנכנסה גבינה הוא יחשבן את המשקל וישייך את המשקל לגבינה.
הזיהוי יכול להיות גם בהכנסה ולא במבט על המדף מה התווסף.צריכים גם לאסוף רשימה של מצרכים עם המשקל הנקי ולפי מ"ג שלהם
נראה לי לא דמרטי. יהיה דאטה בסיסית ודברים שלא יהיו קיימים יוספיו לאט לאט.
צריכים גם לקחת בחשבון הטמפרטורה של המוצר, ק"ג של מים הוא פחות מן ליטר בתוך המקרר.
זה שוני משמעותי בהרבה מוצרים?
מצלמה יכול להיות מבעד לחלון, ואז גם בעית החשמל מסודר
איזה חלון?
עפ"ר המשקלות יש להם אינטרפייס של USB serial,
אפשר יותר הסבר בבקשה?
אם מניחים כמה פריטים על מדף אחד, איך יזהה המשקל, ראיתי פעם משקל של טבלא היודע משקל של כל נקודה לצורך בדיקת נעלים עם מדרסים, אבל איני יודע איפה קונים את זה.
כתבתי בתחילת הפוסט שאני לא צריך שהוא יזהה כל נקודה. אלא רק יחשב לפני ההכנסה ואחרי ההכנסה וישייך למה שנכנס אחרון.
-
@Whenever כתב ביצירת מערכת חכמה למקרר:
@one1010 כתב ביצירת מערכת חכמה למקרר:
@Whenever כתב ביצירת מערכת חכמה למקרר:
האתגר הגדול זה עיבוד נתונים מהמלצמות, חיישנים ומשקל יחד. והתוצאה של העיבוד צריך להיות בדיוק רב.
אני לא צריך שהעיבוד יהיה יחד. החיישן משקל יהיה על כל המדף, יחושב לפני ההחזרה של המוצר ואחרי ההחזרה.
זה הכוונה שיעבדו יחד. המחשב צריך לדעת שעכשיו מכניסים חלב וזה כנראה על פי מצלמה. ואח"כ לחשב את תוספת המשקל שנח עליו ולהוסיף לrecord של החלב את המשקל הנוכחי.
ומה הנקודה הבעייתית כאן?
גם מה קורה שמכניסים שני דברים ביחד לאותו מדף? איך נדע כמה משקל ירד מכל מוצר?
יצטרכו להכניס בפער של שניה... בדרך כלל זה גם קורה ממילא...
-
@one1010 כתב ביצירת מערכת חכמה למקרר:
@Whenever כתב ביצירת מערכת חכמה למקרר:
@one1010 כתב ביצירת מערכת חכמה למקרר:
@Whenever כתב ביצירת מערכת חכמה למקרר:
האתגר הגדול זה עיבוד נתונים מהמלצמות, חיישנים ומשקל יחד. והתוצאה של העיבוד צריך להיות בדיוק רב.
אני לא צריך שהעיבוד יהיה יחד. החיישן משקל יהיה על כל המדף, יחושב לפני ההחזרה של המוצר ואחרי ההחזרה.
זה הכוונה שיעבדו יחד. המחשב צריך לדעת שעכשיו מכניסים חלב וזה כנראה על פי מצלמה. ואח"כ לחשב את תוספת המשקל שנח עליו ולהוסיף לrecord של החלב את המשקל הנוכחי.
ומה הנקודה הבעייתית כאן?
גם מה קורה שמכניסים שני דברים ביחד לאותו מדף? איך נדע כמה משקל ירד מכל מוצר?
יצטרכו להכניס בפער של שניה... בדרך כלל זה גם קורה ממילא...
בדברים האלו יש מורכביות.
קודם כל, ברגע שאתה קובע לאנשים איך להכניס למקרר אז חבל על הזמן וזה מאבד את כל היופי.בפשטות המלצמות קולטות מוצר ואז המחשב מחכה למשקל אבל:
נגיד אתה מכניס שני מוצרים. הגבינה לבנה המלצמה זיהתה ראשון ועכשיו המחשב מוכן לקבל את המשקל אבל הנחת קודם את הקוטג' לפני שהמצלמה קלטה מה זה. לאחר הנחת הקוטג' המלצמה קטלה אותה ומוכנה לקבל משקל ואז שמת את הגבינה לבנה.
עכשיו המקרר יוסיף לך לרשימת קניות לקנות קוטג' למרות שיש לך שפע ותישאר בלי גבינה... -
@one1010 כתב ביצירת מערכת חכמה למקרר:
כבר היום ניתן לאמן בצורה פשוטה מודלים שבהצגת מוצר בפני מצלמת מחשב פשוטה הוא יידע לתאר מה הוא רואה
המצלמה יקרה, אבל היא מגיע עם מודלים מאומנים להרבה צרכים, אתה מבקש לאמן מודל, זאת כבר משימה מורכבת בהרבה (אפשרית, אבל אולי דורשת התמחות בתחום עיבוד תמונה, לא משהו שאדם מן השורה אמור להכיר)
-
@one1010 כתב ביצירת מערכת חכמה למקרר:
כלומר מקטלגים את המוצרים בפעם הראשונה זה אמור להיות מאד פשוט גם עם מצלמה פשוטה...
ולמה לא לשלב גם ברקוד?
ניתן להכניס את הברקוד של כל המוצרים שנשארים באריזה עם ברקוד, כך שבצורה כזו אתה צריך קורא ברקוד שהוא הרבה יותר פשוט מאימון מודל. ובוודאי שהרבה יותר קל לזהות עם ברקוד אם זה גבינת שום שמיר או גבינת עם זיתים... -
@דאציג כתב ביצירת מערכת חכמה למקרר:
@one1010 כתב ביצירת מערכת חכמה למקרר:
כלומר מקטלגים את המוצרים בפעם הראשונה זה אמור להיות מאד פשוט גם עם מצלמה פשוטה...
ולמה לא לשלב גם ברקוד?
ניתן להכניס את הברקוד של כל המוצרים שנשארים באריזה עם ברקוד, כך שבצורה כזו אתה צריך קורא ברקוד שהוא הרבה יותר פשוט מאימון מודל. ובוודאי שהרבה יותר קל לזהות עם ברקוד אם זה גבינת שום שמיר או גבינת עם זיתים...לגמרי חשבתי על זה! החסרון של זה הוא העברה מדוייקת של הברקוד בכל הכנסה.
וגם ירקות וכדו' יפוספסו.
מה הכוונה לשלב? -
אפשר להשתמש לאימון יחסית בקלות עם המכונה הבאה:
https://teachablemachine.withgoogle.com/train/image -
@aaron כתב ביצירת מערכת חכמה למקרר:
אני לא חושב שיש פה אתגרים לא עבירים, זה פשוט עניין של מוטיבציה וזמן..
מסכים לחלוטין...
עכשיו ראיתי שיש כבר פרוייקטים מוכנים עם מודלים לזיהוי תמונות ודיווח כשנגמר מוצר וכדו'https://github.com/ericyangchen/AIoT-Smart-Fridge
מה שנשאר זה לשלב את זה עם משקל מדף וכמובן להוסיף תמונות שלא קיימות במאגר הענק שמצורף שם... [להבנתי הוא מודל זיהוי תמונות מעולה אבל לא למוצרים שקיימים רק בארץ]
