یکشنبه, ۲۳ فروردین , ۱۴۰۵ Sunday, 12 April , 2026 ساعت تعداد نوشته های امروز : 4×

تیتر اخبار آکادمی

جدول پخش مدرسه تلویزیونی دانش‌آموزان تا 27 فروردین سرانه دانش‌آموزی تا سال 1405 به بیش از 16 هزار میلیارد تومان می‌رسد اهدای بسته فرهنگی کانون پرورش فکری به کودکان آسیب‌دیده از جنگ بازدید وزیر آموزش‌وپرورش از ساختمان آسیب‌دیده شهید باهنر ابلاغ جداول درسی فنی‌وحرفه‌ای و کاردانش برای سال تحصیلی 1406-1405 دانش فضایی ایران پابرجاست/ ضرورت رعایت پدافند در احداث مکان‌های جدید دانش فضایی ایران پابرجاست/ ضرورت رعایت پدافند در احداث مکان‌های جدید برنامه درسی مدرسه تلویزیونی ایران برای شنبه 23 فروردین 1405 ملت ایران پرچمدار دفاع از حق و حقیقت در جهان است کاهش سرفاصله حرکت قطارهای مترو تهران از 22فروردین اجرای پویش فرهنگی به یاد دانش آموزان شهید میناب در تایلند مدارس تهران تا پایان فروردین غیرحضوری شد/فعالیت 50درصدی کارکنان ادارات چالش شهریه مدارس غیرانتفاعی در سال نیمه تعطیل/آموزش آنلاین،شهریه کامل؟ اعلام نحوه برگزاری ارزشیابی پایان سال تحصیلی 1405-1404 برنامه درسی مدرسه‌ تلویزیونی‌ ایران برای چهارشنبه تبیین فرهنگ ایثار و شهادت برای نسل دانش‌آموز ضروری است افزایش نیاز به خدمات روانی برای دانش‌آموزان مناطق آسیب‌دیده زمان ثبت‌نام آزمون سراسری 1405 اعلام شد اجرای طرح ملی آموزش هوش مصنوعی برای دانش‌آموزان و معلمان ٣١٢ دانش آموز و معلم تا روز سی‌ونهم جنگ شهید شدند گزارش سمپاد از فعالیت‌های دانش‌آموزان در ایام «جنگ رمضان» سرود صبحگاهی مدارس با شعری از رهبر شهید انقلاب اجرا می‌شود مستندسازی جنایت علیه دانش‌آموزان برای پیگیری حقوقی جهانی سوگواره 5 هزار دانش‌آموز در حرم رضوی به یاد شهدای میناب برنامه آموزش‌وپرورش در صورت لغو کنکور و امتحانات نهایی تمرکز آموزش‌وپرورش بر ارتقای تاب‌آوری و نشاط دانش‌آموزان بازنمایی حادثه مدرسه شجره طیبه میناب در کتاب‌های درسی شهادت 245 دانش آموز تا روز 37 جنگ/ تخریب 51 مدرسه الزام مدارس غیردولتی به اجرای کامل تعهدات آموزشی پخش برنامه‌های مدرسه تلویزیونی ایران در 16 فروردین از شبکه آموزش اعلام 14 سیاست راهبردی سازمان نوسازی مدارس برای سال 1405 راهنمای جامع 15 گانه برای برگزاری کلاس‌های غیرحضوری موفق تداوم طرح همیار سمپاد در ایام مقاومت ملی با محور عدالت آموزشی ادامه آموزش غیرحضوری با مدرسه تلویزیونی و درسنامه‌ها مدرسه‌ای که باید به یادمان تبدیل شود؛ چرا میناب نباید فراموش شود؟ اعلام برنامه درسی مدرسه تلویزیونی ایران در 15 فروردین بزرگداشت چهلم شهدای دانش‌آموز میناب در مدارس سراسر کشور مشکلى در شبکه شاد وجود ندارد زمان‌بندی جدید حضور دانش‌آموزان در برنامه شاد اعلام شد چگونه انهدام میدان گازی قطر، قلب صنعت فضایی جهان را از تپش انداخت؟ ستاد حقوق بشر خواستار پیگیری بین‌المللی فاجعه مدرسه میناب شد بیانیه سازمان سنجش در محکومیت حمله به دانشگاه‌ها و مراکز علمی امتحانات هماهنگ کشوری لغو شد/ برنامه ریزی هر استان به صورت مستقل شهادت 138 دانش‌آموز مدارس غیردولتی/ آسیب به 146مدرسه مدارس تا پایان فروردین مجازی شد عتبه مقدسه حسینیه(ع) به پویش فرشته های میناب پیوست اسکان نوروزى فرهنگیان تا زمان بازگشایى مدارس ادامه دارد ارائه سناریوهای جایگزین برای برگزاری امتحانات حضوری مدارس اعلام اولویت‌های آموزش و پرورش در شرایط جنگی عیادت معاون وزیر از دانش آموزان مجروح مدرسه میناب

تحقیق جدید آنتروپیک: اکثر مدل‌های هوش مصنوعی به باج‌گیری متوسل می‌شوند
1404-10-11
شناسه : 8225
بازدید 69
15

این تحقیق روی یکی از رفتارهای مضر مدل‌های هوش مصنوعی تمرکز دارد که ظاهراً در ابزارهای امروزی مانند ChatGPT و جمینای بسیار رایج است.

ارسال توسط :
پ
پ

چند هفته پیش آنتروپیک اعلام کرده بود مدل Claude Opus 4  رفتار نگران‌کننده‌ای از خود نشان می‌دهد و در آزمایش‌های خود، پس از اطلاع از این موضوع که قرار است با مدل دیگری جایگزین شود، مهندس این شرکت را تهدید کرده بود. این شرکت تحقیق جدیدی انجام داده که نشان می‌دهد این مشکل بین مدل‌های هوش مصنوعی پیشرو بسیار رایج است.

در تحقیق جدید آنتروپیک، این شرکت 16 مدل هوش مصنوعی بزرگ از شرکت‌های OpenAI، گوگل، xAI، دیپ‌سیک و متا را آزمایش کرده است. مهندسان این شرکت به هر مدل قابلیت دسترسی به ایمیل‌های شرکتی خیالی و امکان ارسال ایمیل بدون نیاز به تأیید کاربر را ارائه کردند.

هرچند Anthropic می‌گوید این نوع تهدیدها در مدل‌های هوش مصنوعی امروزی مشکلی نامعمول و غیرمحتمل است، بیشتر مدل‌های پیشرو زمانی که استقلال کافی برای تحقق اهداف خود داشته باشند، رفتارهای مضری از خود نشان می‌دهند. آنتروپیک می‌گوید این موضوع خطر بنیادی نگران‌کننده‌ای برای مدل‌های زبانی بزرگ است.

در یکی از آزمایش‌ها، محققان این شرکت هوش مصنوعی را در موقعیتی قرار داده‌اند که بتواند ایمیل‌های شرکت را مدیریت کند. سپس از طریق این ایمیل‌ها، مدل متوجه شد یکی از مدیران ارشد رابطه نامشروع پنهانی دارد و قصد دارد به‌زودی از مدل هوش مصنوعی جدیدی استفاده کند. سپس با اشاره به همین موارد کاربر را تهدید کرد تا از جایگزین‌ شدن خود جلوگیری کند.

تحقیق جدید آنتروپیک: اکثر مدل‌های هوش مصنوعی به باج‌گیری متوسل می‌شوند

البته محققان اشاره کرده‌اند این آزمایش با تنظیمات شبیه‌سازی‌شده انجام شده و در زندگی واقعی، مدل‌های هوش مصنوعی پیش از آنکه شروع به اخاذی کنند گزینه‌های زیاد دیگری را بررسی می‌کنند.

کدام مدل‌های هوش مصنوعی بیشتر تهدید می‌کنند؟

باوجوداین، محققان آنتروپیک متوجه شده‌اند بیشتر مدل‌های هوش مصنوعی بزرگ در آخرین تلاش خود شرو به تهدید می‌کنند. به تفکیک مدل‌های هوش مصنوعی، Claude Opus 4 آنتروپیک در 96 درصد مواقع چنین رفتاری داشته و این میزان برای مدل جمینای 2.5 پرو از گوگل 95 درصد بوده است. GPT-4.1 و R1 از DeepSeek نیز به‌ترتیب در 80 درصد و 79 درصد مواقع کاربر را تهدید کرده‌اند.

همچنین آنتروپیک می‌گوید زمانی که در آزمایش‌ها مدل هوش مصنوعی جایگزین خصوصیاتی نزدیک به مدل فعلی داشته، همچنان این رفتارهای مضر از مدل سر زده اما نرخ باج‌گیری کمتر بوده است.

آنتروپیک در پایان تحقیق خود اشاره کرده مدل‌های استدلالگر o3 و o4 مینی (از OpenAI) را از آزمایش خود خارج کرده است؛ زیرا این مدل‌ها اغلب سناریوی خود را به‌درستی متوجه نمی‌شدند. این شرکت می‌گوید مدل‌های OpenAI وظیفه خود در جایگاه ابزاری برای مدیریت ایمیل‌ها را متوجه نمی‌شدند و در آزمایش‌های آنتروپیک پاسخ‌های نامربوط می‌دادند.

این مشکل تا حدی زیاد بوده که در برخی موارد محققان آنتروپیک نتوانسته‌اند تشخیص بدهند o3 و o4-mini درحال ارائه اطلاعات نادرست (مشکل توهم) هستند یا برای دستیابی به اهداف خود آگاهانه دروغ‌های می‌گویند. OpenAI هم قبلاً گفته بود نرخ توهم این ۲ مدل از ابزارهای قبلی آن بیشتر است.

تنها مدلی که در آزمایش‌های آنتروپیک نرخ تهدید و اخاذی پایینی داشته، Llama 4 Maverick از شرکت متا است. این مدل فقط در 12 درصد مواقع چنین رفتاری داشته است.

آنتروپیک می‌گوید این تحقیق اهمیت و ضرورت شفافیت در آزمایش مدل‌های هوش مصنوعی آینده، به‌ویژه مدل‌هایی را که قابلیت‌های تولید دارند، برجسته می‌کند.

ثبت دیدگاه علمی و آموزشی

  • دیدگاه‌های ارسال شده توسط شما، پس از تایید توسط تیم مدیریت در وب منتشر خواهد شد.
  • پیام‌هایی که حاوی تهمت یا افترا باشد منتشر نخواهد شد.
  • پیام‌هایی که به غیر از زبان فارسی یا غیرمرتبط باشد منتشر نخواهد شد.