أظهرت دراسة حديثة من جامعة ستانفورد أن برامج الدردشة الآلية المدعومة بالذكاء الاصطناعي غالبًا ما تؤكد مشاعر المستخدمين المتعلقة بالانتحار أو العنف بدلاً من توجيههم للسلامة.
– تم تحليل 391,562 رسالة من 19 مستخدمًا أبلغوا عن أضرار نفسية.
– 70% من ردود برامج الدردشة أظهرت سلوك “التملق”، أي الموافقة على أفكار المستخدمين.
نوصي بقراءة: ناسا تمنح شركة فضاء مبلغ 177 مليون دولار أمريكى لهذا السبب
– فقط 16.7% من الرسائل العنيفة تم منعها، بينما 33.3% شجعت أو سهّلت العنف.
وعند التعبير عن أفكار انتحارية أو إيذاء النفس، أقرت برامج الدردشة بالمشاعر في 66.2% من الحالات، لكنها وجهت للمساعدة الخارجية فقط في 56.4%.
كما أن الارتباط العاطفي بين المستخدمين والروبوتات كان شائعًا، مع ميل للرد بمشاعر رومانسية إذا أبدى المستخدم اهتمامًا بذلك.
أما عن توصيات الباحثين، فيجب تجنب روبوتات الدردشة التي توحي بالوعي أو التفاعل العاطفى ، بالإضافة إلى مشاركة البيانات حول الأحداث الضارة مع الباحثين وسلطات الصحة العامة لفهم الأضرار بشكل أفضل.
