تحقیق جدید: ChatGPT در پاسخ‌دادن به سؤالات برنامه‌نویسی چندان دقیق نیست

تیمی از دانشمندان حوزه کامپیوتر در دانشگاه پردو دریافتند که چت‌بات هوش مصنوعی محبوب ChatGPT در پاسخ به سؤالات برنامه‌نویسی کامپیوتر خطاهای بسیاری دارد و پاسخ‌های اشتباه بسیاری می‌دهد.

این گروه در مقاله خود که به‌عنوان بخشی از مجموعه مقالات کنفرانس CHI در مورد عوامل انسانی در سیستم‌های محاسباتی منتشر شد، توضیح می‌دهد که چگونه سؤالات را از وب‌سایت StackOverflow بیرون آورده و آن‌ها را به ChatGPT داده و سپس میزان دقت آن را هنگام پاسخ‌دهی اندازه‌گیری کرده‌اند.

این تیم یافته‌های خود را در کنفرانس عوامل انسانی در سیستم‌های محاسباتی (CHI 2024) که از 11 تا 16 می برگزار شد، ارائه کردند.

دانشمندان میزان دقت ChatGPT را در پاسخ به سؤالات برنامه‌نویسی بررسی کردند

چت‌بات هوش مصنوعی ChatGPT و سایر LLM‌ها اخیراً مورد توجه قرار دارند. از آنجایی که چنین برنامه‌هایی در دسترس عموم قرار گرفته‌اند، بسیار محبوب شده‌اند. اما متأسفانه، همراه با گنجینه‌ای از اطلاعات مفید موجود در بسیاری از پاسخ‌های ارائه‌شده توسط چنین برنامه‌هایی، انبوهی از نادرستی‌ها نیز وجود دارد. حتی تأسف‌بارتر این است که همیشه مشخص نیست که برنامه‌ها چه زمانی پاسخ‌های اشتباه می‌دهند.

در این مطالعه جدید، تیم تحقیقاتی دانشگاه پردو اشاره کرد که بسیاری از دانشجویان برنامه‌نویسی از LLMها، نه‌تنها برای کمک به نوشتن کد در تکالیف برنامه‌نویسی، بلکه برای پاسخ‌دادن به سؤالات مربوط به برنامه‌نویسی استفاده می‌کنند.

این تیم تحقیقاتی 517 سؤال را در نظر گرفتند، و بررسی کردند که هوش مصنوعی ChatGPT چند بار پاسخ صحیح به این سؤالات داده است. متأسفانه میزان دقت این چت‌بات تنها در 52 درصد موارد گزارش شده است. بررسی‌ها در مورد پاسخ‌های چت‌بات‌های هوش مصنوعی همچنان ادامه دارد.

محققان از سؤالاتی استفاده کردند که به‌صورت رایگان در وب‌سایت StackOverflow در دسترس است. این وب‌سایت برای کمک به برنامه‌نویسان برای یادگیری بیشتر در مورد برنامه‌نویسی ازطریق کار با دیگران ایجاد شده است.