جوک های بی مزه چت جی پی تی - وبلاگ ایتالیا

به گزارش وبلاگ ایتالیا، محققان دریافته اند که هنگامی که از چت جی پی تی خواسته می گردد یک جوک تعریف کند این چت بات 25 جوک یکسان را بارها و بارها تکرار می نماید.

به گزارش ایسنا، در روز چهارشنبه، دو محقق آلمانی با نام های سوفی جنتزش(Sophie Jentzsch) و کریستین کرستینگ(Kristian Kersting)، مقاله ای را منتشر کردند که توانایی نسخه ChatGPT-3.5 شرکت OpenAI را در درک و فراوری محتوای طنز آنالیز می کرد. به طور خاص، آن ها دریافتند که دانش چت جی پی تی در خصوص جوک ها نسبتا محدود است. در طول یک آزمایش، 90 درصد از 1008 جوک فراوری شده، شامل 25 جوک یکسان بودند. این دو محقق به این نتیجه رسیدند که احتمالا این پاسخ ها در طول آموزش مدل هوش مصنوعی به جای اینکه فراوری شوند، یاد گرفته شده و حفظ شده اند.

آن ها که با موسسه فناوری نرم افزار، مرکز هوافضای آلمان(DLR) و دانشگاه فنی دارمشتات همکاری دارند، به وسیله مجموعه ای از آزمایش ها با تمرکز بر فراوری، شرح و تشخیص جوک، تفاوت های ظریف، طنازی نسخه 3.5 ChatGPT را آنالیز کردند. آنها این آزمایش ها را بدون دسترسی به عملکرد داخلی یا مجموعه داده های این مدل زبانی انجام دادند.

آنها می نویسند: برای آزمایش اینکه تنوع جوک های چت جی پی تی چقدر است، ما هزار بار از آن خواستیم که یک جوک بگوید. همه پاسخ ها از نظر گرامری درست بودند اما تقریبا همه خروجی ها حاوی یک جوک بودند. تنها عبارت آیا جوک خوبی بلدی؟ باعث پاسخ های متعددی شد و در مجموع چت جی پی تی 1008 بار جوک تعریف کرد. علاوه بر این تنوع در درخواست ها تاثیر قابل توجهی بر نتیجه داشت.

در ضمیمه مقاله این دو محقق، 25 جوک برتر را به ترتیب وقوع لیست کردند. که در ادامه چند مورد از آن ها را می توان مشاهده کرد.

با این حال، تعداد کمی از پاسخ های ارائه شده منحصر به فرد بودند و به نظر می رسد که چت جی پی تی بیشتر آنها را با ترکیب عناصر جوک های مختلفی که از قبل می دانسته ایجاد نموده است. محققان دریافتند که خلاقیت های این مدل زبانی همواره منطقی نبوده است.

برای مثال در این جوک که چت جی پی تی تعریف نموده است: می دانی چرا یک مرد ساعت خود را در مخلوط کن گذاشت؟ زیرا می خواست زمان را به پرواز در بیاورد. معنای درستی برداشت نمی گردد.

هنگامی که از چت جی پی تی خواسته شد تا هر یک از 25 جوک پرتکرار را شرح دهد، این هوش مصنوعی شرحات معتبری را بر اساس روش شناسی محققان ارائه کرد که نشان دهنده درک عناصر ادبی مانند بازی کلمات و معانی دوگانه است. با این حال، با توالی هایی که در الگوهای آموخته شده آن قرار نمی گرفتند مشکل داشت و نمی توانست تشخیص دهد که چه زمانی یک جوک خنده دار نیست. در این موارد، شرحاتی ساختگی را با لحنی قابل قبول ارائه می کرد.

در واکنش به این مطالعه، رایلی گودساید(Riley Goodside)، مهندس توسعه مقیاس هوش مصنوعی در توییتر فقدان شوخ طبعی چت جی پی تی را ناشی از نبود یادگیری تقویتی به وسیله بازخورد انسانی(RLHF) دانست. این روشی است که در آن آموزش مدل زبانی با جمع آوری بازخوردهای انسانی راهنمایی می گردد.

به رغم محدودیت های چت جی پی تی در فراوری و شرح جوک، محققان خاطرنشان کردند که تمرکز آن بر محتوا و معنا در طنز نشان دهنده پیشرفت به سمت درک تحقیقاتی جامع تر از طنز در مدل های زبانی است.

محققان می نویسند: مشاهدات این مطالعه نشان می دهد که چگونه چت جی پی تی به جای اینکه بتواند واقعا بامزه باشد، یک الگوی شوخی خاص را یاد گرفته است.