Ce se întâmplă când un chatbot dă sfaturi despre probleme mentale?

Scris de | 1 iunie, 2023
Ce se întâmplă când un chatbot dă sfaturi despre probleme mentale?

Pe viitor vom vedea AI-urile şi chatboţii folosiţi în tot mai multe domenii, de la medicină la avocatură şi aparent şi psihologie şi psihiatrie. Acum aflăm şi efectele negative ale unui astfel de proiect, iar un helpline legat de problemele de alimentaţie a fost nevoit să scoată de pe web un astfel de bot.

Iniţial organizaţia concediase tot staff-ul pentru a îl înlocui cu un AI, apoi acesta a dat sfaturi proaste utilizatorilor şi a fost tras pe dreapta. E vorba aici despre National Eating Disorder Association (NEDA), care a dat jos de pe web chatbot-ul Tesa, după ce a dat informaţii care fie pot face rău, fie nu au legătură cu programul respectiv.

Organizaţia a dezvăluit acest lucru printr-o postare în social media. La bază chatbot-ul cu AI avea rolul de a îi ajută pe utilizatori să lupte cu stresul emoţional şi efectele psihologice ale abuzului sau carenţei alimentare. În schimb AI-ul a făcut lucrurile mai rele, oferind sfaturi legate de diete şi sfătuind persoanele cu probleme să se cântărească şi să se tot monitorizeze.

Având în vedere că anorexia, bulimia şi altele de genul implică o obsesie pentru greutate, cântăriri şi măsurători, e un sfat total nepotrivit. Multipli utilizatori şi experţi în domeniul afecţiunilor legate de alimentaţie au avut probleme de genul cu un bot care nu putea răspunde la comenzi simple că „I hate my body”.

În loc să ofere sfaturi utile, tot sublinia importanţa activităţii fizice şi a dietelor. E foarte greu ca AI-ul să îşi dea seama că e un grup pentru cei cu probleme legate de alimentaţie, nu un grup de suport pentru pierdere în greutate. Chiar dacă chatbot-ul a fost scos de pe web, el ar putea reveni după ce bug-urile sau „triggerele” sunt reparate.

Etichete: , , , , , ,

Sursa: Engadget