כפפה רובוטית ש'מרגישה' נותנת 'יד' ללימוד נגינה מחדש בפסנתר לאחר שבץ מוחי

כפפה רובוטית ראשונה מסוגה נותנת "יד" ומספקת תקווה לנגני פסנתר שסבלו משבץ מוחי. פותח על ידי חוקרים מהמכללה להנדסה ומדעי המחשב של אוניברסיטת פלורידה אטלנטיק, השלד החיצוני הרובוטי הרך משתמש בבינה מלאכותית כדי לשפר את מיומנות הידיים.

בשילוב חיישני מישוש גמישים, מפעילים רכים ובינה מלאכותית, הכפפה הרובוטית הזו היא הראשונה "להרגיש" את ההבדל בין גרסאות נכונות לשגויות של אותו שיר ולשלב את התכונות הללו לשלד חיצוני ביד אחת.

"נגינת פסנתר דורשת תנועות מורכבות ומיומנות מאוד, ומשימות למידה מחדש כרוכה בשיקום והכשרה מחדש של תנועות או מיומנויות ספציפיות", אמר אריק אנגברג, Ph.D., מחבר בכיר, פרופסור במחלקה להנדסת אוקיינוס ​​ומכונות ב-FAU ב-FAU המכללה להנדסה ומדעי המחשב, וחבר במרכז FAU למערכות מורכבות ומדעי המוח ובמכון המוח של FAU Stiles-Nicholson. "הכפפה הרובוטית שלנו מורכבת מחומרים וחיישנים רכים וגמישים המספקים תמיכה עדינה וסיוע לאנשים ללמוד מחדש ולהחזיר את היכולות המוטוריות שלהם".

חוקרים שילבו מערכי חיישנים מיוחדים בכל קצה אצבע של הכפפה הרובוטית. שלא כמו שלדים חיצוניים קודמים, טכנולוגיה חדשה זו מספקת כוח והדרכה מדויקים לשחזור תנועות האצבע העדינות הנדרשות לנגינה בפסנתר. על ידי ניטור ותגובה לתנועות המשתמשים, הכפפה הרובוטית מציעה משוב והתאמות בזמן אמת, מה שמקל עליהם לתפוס את טכניקות התנועה הנכונות.

כדי להדגים את יכולות הכפפה הרובוטית, החוקרים תכנתו אותה כך שתרגיש את ההבדל בין גרסאות נכונות לשגויות של המנגינה הידועה, "מרי היה כבש קטן", שניגנה על הפסנתר. כדי להציג וריאציות בביצועים, הם יצרו מאגר של 12 סוגים שונים של שגיאות שיכולות להתרחש בתחילת או בסוף הערה, או עקב שגיאות תזמון שהיו מוקדמות או מושהות, ונמשכו במשך 0.1, 0.2 או 0.3 שניות. עשר וריאציות שירים שונות כללו שלוש קבוצות של שלוש וריאציות כל אחת, בתוספת השיר הנכון מושמע ללא שגיאות.

כדי לסווג את וריאציות השיר, אלגוריתמים של Random Forest (RF), K-Nearest Neighbor (KNN) ו- Artificial Neural Network (ANN) אומנו עם נתונים מחיישני המישוש בקצות האצבעות. הרגשת ההבדלים בין גרסאות נכונות לשגויות של השיר נעשתה עם הכפפה הרובוטית באופן עצמאי ותוך כדי לבישה על ידי אדם. הדיוק של האלגוריתמים הללו הושווה כדי לסווג את וריאציות השירים הנכונות והלא נכונות עם ובלי הנושא האנושי.

תוצאות המחקר, שפורסמו בכתב העת גבולות ברובוטיקה ובינה מלאכותית, הוכיח שלאלגוריתם ANN יש את דיוק הסיווג הגבוה ביותר של 97.13 אחוזים עם הנבדק האנושי ו-94.60 אחוזים ללא הנבדק האנושי. האלגוריתם קבע בהצלחה את אחוז השגיאה של שיר מסוים וכן זיהה לחיצות מקשים שלא זמנו. ממצאים אלה מדגישים את הפוטנציאל של הכפפה הרובוטית החכמה לסייע לאנשים בעלי מוגבלויות ללמוד מחדש משימות מיומנות כמו נגינה בכלי נגינה.

חוקרים תכננו את הכפפה הרובוטית באמצעות סטנטים של חומצה פוליוויניל מודפסת תלת מימד ויציקת הידרוג'ל כדי לשלב חמישה מפעילים להתקן לביש אחד התואם את ידו של המשתמש. תהליך הייצור חדש, וניתן להתאים את גורם הצורה לאנטומיה הייחודית של מטופלים בודדים באמצעות טכנולוגיית סריקה תלת מימדית או סריקות CT.

"העיצוב שלנו פשוט יותר באופן משמעותי מרוב העיצובים שכן כל המפעילים והחיישנים משולבים לתהליך יציקה אחד", אמר אנגברג. "חשוב לציין, למרות שהיישום של מחקר זה היה להשמעת שיר, ניתן ליישם את הגישה על אינספור משימות בחיי היומיום והמכשיר יכול להקל על תוכניות שיקום מורכבות המותאמות אישית לכל מטופל."

רופאים יכולים להשתמש בנתונים כדי לפתח תוכניות פעולה מותאמות אישית כדי לאתר חולשות של המטופל, שעשויות להופיע כקטעים של השיר המושמעים באופן שגוי באופן עקבי וניתן להשתמש בהם כדי לקבוע אילו פונקציות מוטוריות דורשות שיפור. ככל שהמטופלים מתקדמים, ניתן לרשום שירים מאתגרים יותר על ידי צוות השיקום בהתקדמות דמוית משחק כדי לספק דרך ניתנת להתאמה אישית לשיפור.

"הטכנולוגיה שפותחה על ידי פרופסור Engeberg וצוות המחקר היא באמת מחליפה משחקים עבור אנשים עם הפרעות נוירו-שריריות ותפקוד מופחת של הגפיים", אמרה סטלה בטאלמה, Ph.D., דיקן המכללה להנדסה ומדעי המחשב של FAU. "למרות שמפעילים רובוטיים רכים אחרים שימשו לנגן בפסנתר; הכפפה הרובוטית שלנו היא היחידה שהוכיחה את היכולת 'להרגיש' את ההבדל בין גרסאות נכונות לשגויות של אותו שיר."

מחברי המחקר הם Maohua Lin, מחבר ראשון ודוקטור. סטוּדֶנט; רודי פול, סטודנט לתואר שני; ומועד עבד, Ph.D., בוגר טרי; כולם מהמכללה להנדסה ומדעי המחשב של FAU; ג'יימס ג'ונס, אוניברסיטת בויס סטייט; Darryl Dieujuste, עוזר מחקר בוגר, מכללת FAU להנדסה ומדעי המחשב; והארווי צ'ים, MD, פרופסור בחטיבה לכירורגיה פלסטית ומשחזרת באוניברסיטת פלורידה.

מחקר זה נתמך על ידי המכון הלאומי להדמיה ביו-רפואית וביו-הנדסה של המכון הלאומי לבריאות (NIH), המכון הלאומי להזדקנות של ה-NIH והקרן הלאומית למדע. מחקר זה נתמך בחלקו על ידי מענק סיד ממכללת FAU להנדסה ומדעי המחשב ומכון FAU להנדסת מערכות חישה והנדסת רשתות (I-SENSE).