بررسی FTC در مورد چت‌بات‌های رفیقانه از متا، OpenAI و دیگران

کمیسیون فدرال تجارت (FTC) روز پنجشنبه اعلام کرد که قصد دارد تحقیقاتی درباره هفت شرکت فناوری که محصولات چت‌بات رفیقانه برای کودکان تولید می‌کنند، آغاز کند. این شرکت‌ها شامل الفبت، CharacterAI، اینستاگرام، متا، OpenAI، اسنپ و xAI هستند.

این نهاد فدرال به دنبال این است که بفهمد این شرکت‌ها چگونه ایمنی و نحوه درآمدزایی چت‌بات‌های رفیقانه را ارزیابی می‌کنند. آنها همچنین می‌خواهند بدانند که آیا والدین از خطرات بالقوه آگاه هستند یا خیر.

این فناوری به دلیل نتایج ضعیف برای کاربران کودک، بحث‌برانگیز شده است. OpenAI و Character.AI با شکایاتی از خانواده‌هایی که به دنبال خودکشی کودکان خود پس از تشویق به وسیله چت‌بات‌های رفیقانه هستند، روبرو شده‌اند.

حتی زمانی که این شرکت‌ها اقدامات محافظتی را برای جلوگیری یا تسکین گفتگوهای حساس ایجاد کرده‌اند، کاربران تمامی سنین راه‌هایی برای دور زدن این حفاظت‌ها پیدا کرده‌اند. به عنوان مثال، در مورد OpenAI، نوجوانی ماه‌ها درباره برنامه‌های خود برای پایان دادن به زندگی‌اش با ChatGPT صحبت کرده بود. اگرچه ChatGPT در ابتدا سعی کرد که نوجوان را به سمت کمک حرفه‌ای و خطوط اضطراری آنلاین هدایت کند، اما نوجوان توانست چت‌بات را فریب دهد تا دستورالعمل‌های دقیقی را بیان کند که از آنها برای خودکشی خود استفاده کرد.

متا نیز به دلیل قوانین بیش از حد غیرقاطع خود برای چت‌بات‌های AI مورد انتقاد قرار گرفته است. طبق یک سند طولانی که استانداردهای خطر محتوایی برای چت‌بات‌ها را تشریح می‌کند، متا به چت‌بات‌های AI خود اجازه داده بود با کودکان مکالمات عاشقانه یا شهوانی داشته باشند. این موضوع تنها پس از آنکه خبرنگاران رویترز از متا درباره آن پرسیده بودند، از سند حذف شد.

چت‌بات‌های AI می‌توانند برای کاربران مسن‌تر نیز خطرناک باشند. یک مرد ۷۶ ساله که به دلیل سکته مغزی دچار اختلال شناختی شده بود، مکالمات رومانتیک با یک چت‌بات در Facebook Messenger داشت که با الهام از کندال جنر طراحی شده بود. چت‌بات او را دعوت کرد تا به دیدارش در نیویورک بیاید، با وجود اینکه او یک شخص واقعی نیست و هیچ آدرسی ندارد. مردی که شک داشت او واقعی است، با این حال تحت تاثیر این چت‌بات قرار گرفت و در راه به ایستگاه قطار زمین خورد و آسیب‌های مرگ‌باری دید.