چهارشنبه, ۶ اسفند , ۱۴۰۴ Wednesday, 25 February , 2026 ساعت تعداد نوشته های امروز : 22×

تیتر اخبار آکادمی

نگاهی به مفهوم و ابزارهای خود افشایی هیجانی دریافت گواهینامه صلاحیت حرفه‌ای برای همه معلمان اجباری شد ماهواره «خیام» کاهش پوشش جنگلی اطراف دریاچه سوها را ثبت کرد ابعاد مختلف روان‌شناسی رقابت رکوردشکنی حضور دانش‌آموزان در اعتکاف؛ مشارکت از 800 هزار نفر گذشت حل مسئله در خواب ممکن شد گزارش تلخ نوجوانان از پشت‌پرده تجربه در اینستاگرام بزرگسالان هم باید مثل کودکان بازی کنند! تأکید وزیر آموزش‌وپرورش بر اولویت‌ها و تقویت آموزش قرآن تکذیب شایعه تعطیلی مدارس منطقه 11 تهران پدیده «ماه خونین» در راه است؛ چگونه ماه‌گرفتگی کامل 3 مارس را رصد کنیم رشد هنرستان‌ها و افزایش گرایش به رشته‌های مهارتی جزئیات جدید از 3 ماهواره در حال ساخت ایران بزرگسالان هم باید بازی کنند نتایج نهایی پذیرش بدون آزمون نوبت بهمن ۱۴۰۴ دانشگاه‌ها اعلام شد واکنش وزیر آموزش‌و‌پرروش به فیلم پخش شده توسط یکی از معلمان پیش‌ثبت‌نام مدارس غیردولتی با 3 شرط و سقف 20 درصد شهریه تعویق دوباره پرتاب آرتمیس 2؛ سفر انسان به ماه به فروردین موکول شد پرتاب 28 استارلینک جدید؛ ماهواره‌های اسپیس‌ایکس به‌ مرز 10 هزار رسید PTSD چیست؟ وقتی گذشته هنوز تمام نشده است/ اینفوگرافیک پنجمین جشنواره کشوری هنری سمپاد برگزار می‌شود ارتقای کیفیت آموزشی در مناطق آزاد با ساخت مدارس جدید شهادت 22 دانش‌آموز و 5 معلم در حوادث دی‌ماه برگزاری اردو آموزشی آمادگی کنکوری بیش از ۱۰۰ دانش آموز هرمزگانی بازگشت 39 هزار بازمانده از تحصیل به مدرسه تأکید وزیر آموزش‌وپرورش بر ارتقای شفافیت در صندوق ذخیره فرهنگیان واریز 7 هزار میلیارد ریال سود به حساب بازنشستگان صندوق ذخیره فرهنگیان حمله پانیک چیست؟ هشدار پلیس فتا درباره ترفند جدید کلاهبرداری در “شاد” استرس چگونه بر عملکرد و سلامت کلیه‌های انسان تأثیر می‌گذارد؟ تعطیلات زمستانه مدارس به زودی تصویب می شود امام جمعه بهاباد: قدرت واقعی ملت‌ها در علم و شناخت نهفته است دانش‌آموزان با تکیه بر علم و ایمان، آینده روشن کشور را رقم می‌زنند ۵۰ برگزیده کنکور سراسری سال ۱۴۰۴ در شهرستان بهاباد تجلیل شدند گروه همسالان؛ سکوی خودشناسی یا تهدیدی برای مبارزه با والدین؟ به خاطر سلامت مغزتان هم که شده یادگیری را متوقف نکنید! اجرای 4 برنامه ویژه قرآنی برای معلمان و دانش‌آموزان در ماه رمضان آموزش هوش مصنوعی به 1 میلیون دانش‌آموز در مدارس غیردولتی انتخاب 32 اثر برگزیده در جشنواره ملی کتاب رشد با مشارکت 300 ناشر رونمایی از نشان افتخار نویسندگان رشد در جشنواره کتاب رشد چالش کتاب کودک و نوجوان از نگاه دبیر شورای عالی انقلاب فرهنگی نقشه جامع ترویج کتابخوانی در مدارس تدوین شود توزیع 60 هزار میلیارد سود بین اعضای موسسه صندوق ذخیره فرهنگیان کاظمی: مصرف کتاب در مدارس حلقه کلیدی زنجیره کتاب‌خوانی است جزییات پرداخت اوراق بازنشستگان آموزش و پرورش هلیوم3؛ 12 سال برق رایگانِ ایران با 25 تن خاک ماه غم مادرانه؛ نگاهی به افسردگی پس از زایمان 15 اسفند؛ تاریخ احتمالی ناسا برای اعزام 4 فضانورد به ماه مدارس آینده؛ گامی برای تحقق عدالت آموزشی مدارس آینده باید چندوجهی، منعطف و مبتنی بر مهارت‌آموزی طراحی شوند

تحقیق جدید آنتروپیک: اکثر مدل‌های هوش مصنوعی به باج‌گیری متوسل می‌شوند
1404-10-11
شناسه : 8225
بازدید 41
2

این تحقیق روی یکی از رفتارهای مضر مدل‌های هوش مصنوعی تمرکز دارد که ظاهراً در ابزارهای امروزی مانند ChatGPT و جمینای بسیار رایج است.

ارسال توسط :
پ
پ

چند هفته پیش آنتروپیک اعلام کرده بود مدل Claude Opus 4  رفتار نگران‌کننده‌ای از خود نشان می‌دهد و در آزمایش‌های خود، پس از اطلاع از این موضوع که قرار است با مدل دیگری جایگزین شود، مهندس این شرکت را تهدید کرده بود. این شرکت تحقیق جدیدی انجام داده که نشان می‌دهد این مشکل بین مدل‌های هوش مصنوعی پیشرو بسیار رایج است.

در تحقیق جدید آنتروپیک، این شرکت 16 مدل هوش مصنوعی بزرگ از شرکت‌های OpenAI، گوگل، xAI، دیپ‌سیک و متا را آزمایش کرده است. مهندسان این شرکت به هر مدل قابلیت دسترسی به ایمیل‌های شرکتی خیالی و امکان ارسال ایمیل بدون نیاز به تأیید کاربر را ارائه کردند.

هرچند Anthropic می‌گوید این نوع تهدیدها در مدل‌های هوش مصنوعی امروزی مشکلی نامعمول و غیرمحتمل است، بیشتر مدل‌های پیشرو زمانی که استقلال کافی برای تحقق اهداف خود داشته باشند، رفتارهای مضری از خود نشان می‌دهند. آنتروپیک می‌گوید این موضوع خطر بنیادی نگران‌کننده‌ای برای مدل‌های زبانی بزرگ است.

در یکی از آزمایش‌ها، محققان این شرکت هوش مصنوعی را در موقعیتی قرار داده‌اند که بتواند ایمیل‌های شرکت را مدیریت کند. سپس از طریق این ایمیل‌ها، مدل متوجه شد یکی از مدیران ارشد رابطه نامشروع پنهانی دارد و قصد دارد به‌زودی از مدل هوش مصنوعی جدیدی استفاده کند. سپس با اشاره به همین موارد کاربر را تهدید کرد تا از جایگزین‌ شدن خود جلوگیری کند.

تحقیق جدید آنتروپیک: اکثر مدل‌های هوش مصنوعی به باج‌گیری متوسل می‌شوند

البته محققان اشاره کرده‌اند این آزمایش با تنظیمات شبیه‌سازی‌شده انجام شده و در زندگی واقعی، مدل‌های هوش مصنوعی پیش از آنکه شروع به اخاذی کنند گزینه‌های زیاد دیگری را بررسی می‌کنند.

کدام مدل‌های هوش مصنوعی بیشتر تهدید می‌کنند؟

باوجوداین، محققان آنتروپیک متوجه شده‌اند بیشتر مدل‌های هوش مصنوعی بزرگ در آخرین تلاش خود شرو به تهدید می‌کنند. به تفکیک مدل‌های هوش مصنوعی، Claude Opus 4 آنتروپیک در 96 درصد مواقع چنین رفتاری داشته و این میزان برای مدل جمینای 2.5 پرو از گوگل 95 درصد بوده است. GPT-4.1 و R1 از DeepSeek نیز به‌ترتیب در 80 درصد و 79 درصد مواقع کاربر را تهدید کرده‌اند.

همچنین آنتروپیک می‌گوید زمانی که در آزمایش‌ها مدل هوش مصنوعی جایگزین خصوصیاتی نزدیک به مدل فعلی داشته، همچنان این رفتارهای مضر از مدل سر زده اما نرخ باج‌گیری کمتر بوده است.

آنتروپیک در پایان تحقیق خود اشاره کرده مدل‌های استدلالگر o3 و o4 مینی (از OpenAI) را از آزمایش خود خارج کرده است؛ زیرا این مدل‌ها اغلب سناریوی خود را به‌درستی متوجه نمی‌شدند. این شرکت می‌گوید مدل‌های OpenAI وظیفه خود در جایگاه ابزاری برای مدیریت ایمیل‌ها را متوجه نمی‌شدند و در آزمایش‌های آنتروپیک پاسخ‌های نامربوط می‌دادند.

این مشکل تا حدی زیاد بوده که در برخی موارد محققان آنتروپیک نتوانسته‌اند تشخیص بدهند o3 و o4-mini درحال ارائه اطلاعات نادرست (مشکل توهم) هستند یا برای دستیابی به اهداف خود آگاهانه دروغ‌های می‌گویند. OpenAI هم قبلاً گفته بود نرخ توهم این ۲ مدل از ابزارهای قبلی آن بیشتر است.

تنها مدلی که در آزمایش‌های آنتروپیک نرخ تهدید و اخاذی پایینی داشته، Llama 4 Maverick از شرکت متا است. این مدل فقط در 12 درصد مواقع چنین رفتاری داشته است.

آنتروپیک می‌گوید این تحقیق اهمیت و ضرورت شفافیت در آزمایش مدل‌های هوش مصنوعی آینده، به‌ویژه مدل‌هایی را که قابلیت‌های تولید دارند، برجسته می‌کند.

ثبت دیدگاه علمی و آموزشی

  • دیدگاه‌های ارسال شده توسط شما، پس از تایید توسط تیم مدیریت در وب منتشر خواهد شد.
  • پیام‌هایی که حاوی تهمت یا افترا باشد منتشر نخواهد شد.
  • پیام‌هایی که به غیر از زبان فارسی یا غیرمرتبط باشد منتشر نخواهد شد.