این ربات که اساسا شحصیت یک دختر نوجوان 19 ساله را دارد و با هوش مصنوعی مایکروسفات عمل میکند، در این هفته باعث شد تا بسیاری از کاربران اینترنت، او پست های توییتری که وی منتشر کرده است متعجب شوند و به این فکر فرو روند که چگونه این ربات تبدیل به یک شخصیت نژاد پرست شده است.
مقامات مایکروسافت در حال حاضر این ربات را به همین دلیل از کار انداخته اند و در توضیح اتفاقات رخ داده عنوان کرده اند که الگوریتم این ربات از فیلترهای مناسب برای پرهیز از عقاید نژاد پرستانه برخوردار نیست.
اما چگونه اینترنت به این ربات یاد داد که جملات نژاد پرستانه را استفاده کند؟ این اتفاق خیلی ساده رخ داده است: کاربران از وی خواسته اند که جملات نژاد پرستانه آن ها را تکرار کند و سپس این جملات در الگوریتم این ریان هوشمند به عنوان بخشی از آموزش قرار گرفته است تا آنکه وی بعد از آن خود اقدام به انتشار و توییت این جملات نموده است.
در واقع دستوری خاص به این ربات اجازه میدهد تا جملات را بعد از کاربران تکرار کند که همین موضوع منجر به آن شده که ربات مایکروسافت این جملات نژاد پرستانه را در الگوریتم خود ذخیره و بعدا استفاده کند. تصاویر زیر کل ماجرا را نشان میدهد:
در تصویر فوق وقتی کاربر از Tay خواسته است که نظرش را در مورد یهودیان عنوان کند، وی به شکلی کاملا هوشمندانه از این کار طفره رفته است. در این جا است که این کاربر ترفند خود را با دستور Repeat After Me به کار میبرد:
این الگو منجر به آن شده است که جملات نژاد پرستانه از سوی سایر کاربران با همین دستور برای Tay تکرار شود:
این دستور در کنار برخی از ترفند های دیگر منجر به آن شد که ربات هوشمند مایکروسافت تبدیل به یک نژاد پرست تمام عیار شود و این شرکت را مجبور به غیرفعال کردن موقتی آن کند!