Uczenie robotów interakcji z dziećmi z autyzmem

Ludzie z autyzmem widzą, słyszą i odczuwają świat odmiennie, co wpływa na sposób, w jaki nawiązują interakcje z innymi ludźmi. Z tego powodu działania związane z komunikacją są szczególnie trudne dla dzieci z zaburzeniami ze spektrum autyzmu (ang. Autism Spectrum Conditions, ASC). Dlatego też terapeutom trudno jest angażować te dzieci w tego rodzaju czynności w trakcie terapii edukacyjnej.

Aby poradzić sobie z tym wyzwaniem, terapeuci zaczęli niedawno wykorzystywać w sesjach terapeutycznych humanoidalne roboty. Jednakże istniejące obecnie roboty nie są w stanie samodzielnie nawiązywać interakcji z dziećmi, co jest kluczowe dla usprawnienia terapii. Dodatkowo fakt, że ludzie z ASC mają nietypowe i odmienne sposoby wyrażania swych myśli i uczuć, sprawia, że wykorzystywanie takich robotów jest jeszcze trudniejsze.

Badacze pracujący nad finansowanym przez UE projektem EngageME opracowali obecnie spersonalizowany system uczenia maszynowego dla robotów wykorzystywanych w terapii dla osób z autyzmem. Jak opisali w swym artykule opublikowanym w czasopiśmie „Science Robotics”, system ten pomaga robotom automatycznie postrzegać sposób komunikacji – mimikę twarzy, ton głosu i gesty – oraz zaangażowanie dzieci w trakcie interakcji.

Spersonalizowane podejście

Aby uzyskać tak ekscytujące wyniki, partnerzy pracujący nad projektem musieli zdać sobie sprawę z tego, że w przypadku dzieci z ASC nie ma jednego uniwersalnego rozwiązania. W wyniku tego udało im się spersonalizować system, dostosowując go do każdego z dzieci poprzez wykorzystanie danych demograficznych, wyników oceny zachowania oraz innych cech właściwych dla danego dziecka. Dzięki temu nowatorskiemu systemowi roboty są w stanie automatycznie dostosowywać swą interpretację reakcji dzieci, uwzględniając kulturowe i indywidualne różnice pomiędzy nimi.

„Wyzwanie polegające na opracowaniu systemu uczenia maszynowego i sztucznej inteligencji (ang. artificial intelligence, AI), które sprawdzą się w przypadku autyzmu, jest szczególnie frustrujące, jako że metody stosowane zwykle w AI wymagają dużej ilości danych podobnych pod względem każdej nauczanej kategorii. W przypadku autyzmu króluje różnorodność, tak więc zwykłe podejście do AI zawodzi”, wyjaśniła współautorka projektu, prof. Rosalind Picard, w artykule opublikowanym w „MIT News”.

Terapia z udziałem robotów

Naukowcy przetestowali swój model na 35 dzieciach z Japonii i Serbii. Dzieci w wieku od 3 do 13 lat nawiązywały interakcje z robotami podczas 35-minutowych sesji. Humanoidalne roboty przekazywały różne emocje – złość, strach, szczęście i smutek – zmieniając kolor oczu, ton głosu oraz pozycję kończyn.

W trakcie interakcji z dzieckiem robot nagrywał jego mimikę, ruchy i ułożenie głowy, a także ton głosu i wydawane dźwięki niewerbalne. Monitor na nadgarstku każdego z dzieci przekazywał też robotowi dane na temat temperatury ciała dziecka, jego tętna oraz pocenia się w odpowiedzi na bodźce. Dane te wykorzystano, by uzyskać wskazówki na temat zachowań danego dziecka, a pozyskane informacje wprowadzono do modułu percepcyjnego robota.

Korzystając z modeli głębokiego uczenia, robot oszacowywał sposób komunikacji dziecka i jego zaangażowanie na podstawie pozyskanych wskazówek behawioralnych. Wyniki wykorzystano do kierowania interakcją dziecka z robotem podczas kolejnych sesji terapeutycznych.

Nagrania audiowizualne z sesji terapeutycznych oglądali również ludzcy eksperci. Ich ocena reakcji dzieci była w 60% zbieżna ze spostrzeżeniami robotów. Ten poziom zgodności był wyższy niż w przypadku porównania opinii ludzkich ekspertów. Wyniki badania sugerują, że wyszkolone roboty mogą odegrać ważną rolę w prowadzonych w przyszłości terapiach dla osób z autyzmem.

W ramach projektu EngageME (Automated Measurement of Engagement Level of Children with Autism Spectrum Conditions during Human-robot Interaction) prowadzone są prace nad zapewnieniem robotom kluczowych informacji, które pomogą terapeutom spersonalizować terapie, a także sprawić, by interakcje między człowiekiem a robotem były bardziej naturalne i skutkowały większym zaangażowaniem.


Więcej informacji:
strona projektu w serwisie CORDIS