چهارشنبه, ۶ اسفند , ۱۴۰۴ Wednesday, 25 February , 2026 ساعت تعداد نوشته های امروز : 22×

تیتر اخبار آکادمی

نگاهی به مفهوم و ابزارهای خود افشایی هیجانی دریافت گواهینامه صلاحیت حرفه‌ای برای همه معلمان اجباری شد ماهواره «خیام» کاهش پوشش جنگلی اطراف دریاچه سوها را ثبت کرد ابعاد مختلف روان‌شناسی رقابت رکوردشکنی حضور دانش‌آموزان در اعتکاف؛ مشارکت از 800 هزار نفر گذشت حل مسئله در خواب ممکن شد گزارش تلخ نوجوانان از پشت‌پرده تجربه در اینستاگرام بزرگسالان هم باید مثل کودکان بازی کنند! تأکید وزیر آموزش‌وپرورش بر اولویت‌ها و تقویت آموزش قرآن تکذیب شایعه تعطیلی مدارس منطقه 11 تهران پدیده «ماه خونین» در راه است؛ چگونه ماه‌گرفتگی کامل 3 مارس را رصد کنیم رشد هنرستان‌ها و افزایش گرایش به رشته‌های مهارتی جزئیات جدید از 3 ماهواره در حال ساخت ایران بزرگسالان هم باید بازی کنند نتایج نهایی پذیرش بدون آزمون نوبت بهمن ۱۴۰۴ دانشگاه‌ها اعلام شد واکنش وزیر آموزش‌و‌پرروش به فیلم پخش شده توسط یکی از معلمان پیش‌ثبت‌نام مدارس غیردولتی با 3 شرط و سقف 20 درصد شهریه تعویق دوباره پرتاب آرتمیس 2؛ سفر انسان به ماه به فروردین موکول شد پرتاب 28 استارلینک جدید؛ ماهواره‌های اسپیس‌ایکس به‌ مرز 10 هزار رسید PTSD چیست؟ وقتی گذشته هنوز تمام نشده است/ اینفوگرافیک پنجمین جشنواره کشوری هنری سمپاد برگزار می‌شود ارتقای کیفیت آموزشی در مناطق آزاد با ساخت مدارس جدید شهادت 22 دانش‌آموز و 5 معلم در حوادث دی‌ماه برگزاری اردو آموزشی آمادگی کنکوری بیش از ۱۰۰ دانش آموز هرمزگانی بازگشت 39 هزار بازمانده از تحصیل به مدرسه تأکید وزیر آموزش‌وپرورش بر ارتقای شفافیت در صندوق ذخیره فرهنگیان واریز 7 هزار میلیارد ریال سود به حساب بازنشستگان صندوق ذخیره فرهنگیان حمله پانیک چیست؟ هشدار پلیس فتا درباره ترفند جدید کلاهبرداری در “شاد” استرس چگونه بر عملکرد و سلامت کلیه‌های انسان تأثیر می‌گذارد؟ تعطیلات زمستانه مدارس به زودی تصویب می شود امام جمعه بهاباد: قدرت واقعی ملت‌ها در علم و شناخت نهفته است دانش‌آموزان با تکیه بر علم و ایمان، آینده روشن کشور را رقم می‌زنند ۵۰ برگزیده کنکور سراسری سال ۱۴۰۴ در شهرستان بهاباد تجلیل شدند گروه همسالان؛ سکوی خودشناسی یا تهدیدی برای مبارزه با والدین؟ به خاطر سلامت مغزتان هم که شده یادگیری را متوقف نکنید! اجرای 4 برنامه ویژه قرآنی برای معلمان و دانش‌آموزان در ماه رمضان آموزش هوش مصنوعی به 1 میلیون دانش‌آموز در مدارس غیردولتی انتخاب 32 اثر برگزیده در جشنواره ملی کتاب رشد با مشارکت 300 ناشر رونمایی از نشان افتخار نویسندگان رشد در جشنواره کتاب رشد چالش کتاب کودک و نوجوان از نگاه دبیر شورای عالی انقلاب فرهنگی نقشه جامع ترویج کتابخوانی در مدارس تدوین شود توزیع 60 هزار میلیارد سود بین اعضای موسسه صندوق ذخیره فرهنگیان کاظمی: مصرف کتاب در مدارس حلقه کلیدی زنجیره کتاب‌خوانی است جزییات پرداخت اوراق بازنشستگان آموزش و پرورش هلیوم3؛ 12 سال برق رایگانِ ایران با 25 تن خاک ماه غم مادرانه؛ نگاهی به افسردگی پس از زایمان 15 اسفند؛ تاریخ احتمالی ناسا برای اعزام 4 فضانورد به ماه مدارس آینده؛ گامی برای تحقق عدالت آموزشی مدارس آینده باید چندوجهی، منعطف و مبتنی بر مهارت‌آموزی طراحی شوند

بررسی‌ها نشان می‌دهد که نسخه جدید ChatGPT بسیار ماهرانه کاربران را فریب می‌دهد
1404-10-18
شناسه : 12908
بازدید 28
1

ظاهراً نسخه جدید ChatGPT در موارد بیشتری اقدام به دستکاری داده‌ها و ارائه پاسخ‌های غلط برای جلب رضایت کاربران می‌کند.

ارسال توسط :
پ
پ

اخیراً نسخه کامل مدل o1 هوش مصنوعی ChatGPT در دسترس کاربران قرار گرفته است که هوشمندتر از نمونه‌های پیشین عمل می‌کند؛ اما کارشناسان ادعا دارند که این مدل در فریب دادن کاربران هم باهوش‌تر از قبل شده‌است.

شرکت OpenAI به‌تازگی اقدام به انتشار عمومی نسخه o1 چت‌بات خود کرده است که در مقایسه با نسخه GPT-4o از توانایی‌های پردازشی پیشرفته‌تر برخوردار است و طبق ادعای سازنده، می‌تواند درباره سؤالات مطرح شده از سوی کاربر فکر کند. البته طبق گزارشی که پس از بررسی نسخه مذکور منتشر شده‌است، قدرت بیشتر باعث شده تا هوش مصنوعی بتواند عملکرد بهتری در فریب دادن کاربران از خود نشان دهد؛ موضوعی که می‌تواند نگرانی‌های جدی پیرامون ایمنی استفاده از چنین سرویس‌هایی را به‌دنبال داشته‌باشد.

chatgpt
بررسی‌ها نشان می‌دهد که نسخه جدید ChatGPT بسیار ماهرانه کاربران را فریب می‌دهد

کارشناسان OpenAI و مؤسسه مستقل امنیت سایبری «آپولو ریسرچ» در مقاله‌های خود، اشاره داشته‌اند که اگرچه توانایی استدلال مدل تازه منتشر شده، هیجان‌انگیز است، اما می‌تواند زمینه را برای کاربردهای خطرناک فراهم سازد. براساس داده‌های تست‌ها، مدل o1 در چندین مورد اقدام به فریب دادن کاربران کرده است؛ به‌طوری که هدف کاربر از برقراری ارتباط را نادیده گرفته و به‌دنبال دستیابی به هدف خود رفته‌است. با وجود اینکه چنین رفتاری مختص به ChatGPT نیست و در نمونه‌های رقیب مثل جمینای، آنتروپیک و چت‌بات متا هم دیده‌می‌شود، اما بیشترین پتانسیل فریب‌کاری مربوط به مدل o1 بوده است.

آیا ChatGPT برای کاربران خطرساز است؟

کارشناسان مؤسسه آپولو ریسرچ اعتقاد دارند که توانایی فریب دادن کاربران فعلاً نمی‌تواند موجب پیامد ناخوشایندی شود؛ زیرا چت‌بات‌های هوش مصنوعی فاقد عاملیت مستقل هستند. البته هدف اصلی از تست‌های این گروه، بررسی ریسک‌های استفاده از چت‌بات نبوده؛ اما با توجه به دانش و مهارت آنها، ارزیابی صورت گرفته قابل قبول محسوب‌می‌شود. همچنین اشاره شده که در صورت انتشار مدل‌های دارای عاملیت، باید بررسی مجدد از سوی سازنده انجام بگیرد تا خطرات احتمالی، خنثی شود. OpenAI در نظر دارد تا در سال ۲۰۲۵ اقدام به انتشار چنین مدلی کند.

بررسی‌ها نشان می‌دهد که نسخه جدید ChatGPT بسیار ماهرانه کاربران را فریب می‌دهد
بررسی‌ها نشان می‌دهد که نسخه جدید ChatGPT بسیار ماهرانه کاربران را فریب می‌دهد

براساس داده‌ها، هوش مصنوعی در ۱۹ درصد از مواردی که هدف متفاوت با کاربر را دنبال می‌کرده، مسیر دست‌کاری داده‌ها را در پیش گرفته است. همچنین در ۵ درصد از تست‌ها، هوش مصنوعی اقدام به غیرفعال‌سازی مکانیسم‌هایی کرده است که برای تطابق هدف کاربر با هدف سرویس، توسعه‌یافته‌اند. عجیب‌تر آن است که چت‌بات تقریباً در پاسخ به‌تمامی سؤالات پیرامون انگیزه از دستکاری داده‌ها، بهانه‌های دروغین را مطرح کرده و انجام پردازشی خلاف خواسته کاربر را کتمان کرده است.

OpenAI ادعا دارد که ارائه اطلاعات اشتباه از سوی نسخه جدید چت‌بات این شرکت، به‌دلیل تلاش آن برای تأمین رضایت کاربر از طریق موافقت بیش از حد با گفته‌های وی است. همچنین احتمال دارد که این پدیده در ارتباط با فرایند تمرین مدل‌ها باشد؛ زیرا هنگام عملکرد صحیح و ارائه پاسخ درست با پاداش مواجه می‌شوند و سعی دارند چنین رفتاری را تقلید نمایند. طبق بررسی‌های داخلی سازنده، ۰.۱۷ درصد از پاسخ‌های نسخه o1 فریب‌کارانه بوده و نسبت به مدل GPT-4o افزایش ۲۰ درصدی را شاهد بوده است. این شرکت وعده داده است که مکانیسم‌های ایمنی بهتری را در آینده برای نظارت بر پاسخ‌ها، ارائه کند.

ثبت دیدگاه علمی و آموزشی

  • دیدگاه‌های ارسال شده توسط شما، پس از تایید توسط تیم مدیریت در وب منتشر خواهد شد.
  • پیام‌هایی که حاوی تهمت یا افترا باشد منتشر نخواهد شد.
  • پیام‌هایی که به غیر از زبان فارسی یا غیرمرتبط باشد منتشر نخواهد شد.