شنبه, ۲۷ تیر , ۱۴۰۵ Saturday, 18 July , 2026 ساعت تعداد نوشته های امروز : 2×

تیتر اخبار آکادمی

پلتفرم چابکان ابزارهای برنامه‌نویسی ازجمله «میرور» و «رادار» را رایگان منتشر کرد پارس‌پک شبکه مخازن داخلی را برای برنامه‌نویسان در زمان قطعی اینترنت راه‌اندازی کرد ذهن آرام، تصمیم‌های بهتر؛ چگونه شتاب افکار را مهار کنیم؟/ اینفوگرافیک داستان دموسین؛ وقتی کد به هنر تبدیل شد: سفری به دل فرهنگ هکری اروپا آخرالزمانی که رخ نداد: داستان فاجعه باگ Y2K در سال 2000 رنجبر: ۲ زندانی خراسان شمالی در کنکور کارشناسی ارشد شرکت کردند تخم‌مرغ شانسی (Easter Egg) در کدهای نرم‌افزاری: نبرد یک برنامه‌نویس برای جاودانگی در دنیای آتاری وب‌سایت یک میلیون دلاری: دانشجویی که با فروش پیکسل‌ها تاریخ‌ساز شد نقش روانشناسان و مشاوران در تقویت تاب آوری ملی و سلامت اجتماعی رئیس سازمان نظام روان‌شناسی خواستار حمایت دولت از دانش‌آموزان مناطق جنگزده شد آزمون کارشناسی ارشد ۱۴۰۵ در مشهد رقابت ۶۵۰ هزار نفری در کنکور ارشد؛ سهم یک‌درصدی سمنان از ماراتن علمی رقابت بیش از ۸هزار داوطلب کارشناسی ارشد ناپیوسته در چهارمحال و بختیاری آزمون کارشناسی ارشد ۱۴۰۵ در تبریز خطر افزایش ابتلا به بیماری‌های روانی با مصرف ماری‌جوانا/ گزارش ساینس‌دیلی ناجی خاموش میلیون‌ها کارمند: لری تسلر و انقلابی به نام «کپی و پیست» درمان آلزایمر با داروی اختلال دوقطبی نقش مغز در پرخوری؛ نوروساینس چه می‌گوید؟ دستاورد پژوهشگران دانشگاه تهران در حوزه امنیت هوش مصنوعی روبات انسان نما به یک کودک لگد زد انویدیا با غول‌های فناوری کره جنوبی قرارداد بست روبات انسان نما به قله ۶۲۰۰ متری صعود کرد! روبات انسان نما فروشگاه ۲۴ ساعته را می گرداند محقق ایرانی پمپ مینیاتوری برای نرم روبات‌ها ابداع کرد روبات انسان نمای چینی کارگر آزمایشی انبار می شود علی بابا هوش مصنوعی برای روبات ها ارائه کرد روبات ایتالیایی به کمک بیماران ALS آمد مذاکره با دستگاه‌ها برای توسعه صادرات محصولات فریلنسرها ثبت‌نام سومین دوره المپیک فناوری ۲۰۲۶ آغاز شد برگزاری فیراکاپ آزادایران ۲۰۲۶ در دانشگاه صنعتی امیرکبیر روبات‌های انسان نما ۶ روز کارگری کردند پیروزی قاطع ۱۰ بر صفر نمایندگان ایران مقابل آمریکا در ربوکاپ ۲۰۲۶ ربات‌ها حس لامسه پیدا می‌کنند؛ آغاز رقابت جدید در هوش مصنوعی فیزیکی روبات انسان‌نما به همکارانش حمله کرد روبات انسان‌نما برای نخستین بار جراحی کرد خطر جراحات ناشی از حمل بار با اگزواسکلتون جدید کمتر می شود رقابت دانشجویان و دانش آموزان در ۲۱ لیگ رباتیک و هوش مصنوعی در فیراکاپ تعیین زمان امتحانات نهایی و کنکور در اختیار مراجع اجرایی است تاثیر شبکه‌های اجتماعی بر اضطراب و مهارت‌های ارتباطی جوان آیکن Save و معمای فلاپی دیسک: چگونه یک قطعه پلاستیکی منسوخ، جاودانه شد؟ راز پیوند عاطفی عمیق کودکان با «خاله» و «عمه» فضانوردان روسیه و ناسا امروز به فضا می‌روند چرا حس درونی برخی افراد با دوره بزرگسالی تطابق ندارد؟ نکاتی درباره مشکلات خواب در کودکان یادگیری زبان‌ها می‌تواند مغز را جوان‌تر کند اهمال کاری یا کمال گرایی؟/ اینفوگرافیک کاهش اضطراب با ۵ راهکار علمی و در عین حال ساده ترک سیگارخطر ابتلا به زوال عقل را کاهش می‌دهد! تکمیل مدارس نیمه‌تمام در اولویت سازمان نوسازی مدارس راه‌اندازی 2 رشته جدید کاردانش در حوزه حمل‌ونقل ریلی کشور

تحقیق جدید آنتروپیک: اکثر مدل‌های هوش مصنوعی به باج‌گیری متوسل می‌شوند
1404-10-11
شناسه : 8225
بازدید 131
26

این تحقیق روی یکی از رفتارهای مضر مدل‌های هوش مصنوعی تمرکز دارد که ظاهراً در ابزارهای امروزی مانند ChatGPT و جمینای بسیار رایج است.

ارسال توسط :
پ
پ

چند هفته پیش آنتروپیک اعلام کرده بود مدل Claude Opus 4  رفتار نگران‌کننده‌ای از خود نشان می‌دهد و در آزمایش‌های خود، پس از اطلاع از این موضوع که قرار است با مدل دیگری جایگزین شود، مهندس این شرکت را تهدید کرده بود. این شرکت تحقیق جدیدی انجام داده که نشان می‌دهد این مشکل بین مدل‌های هوش مصنوعی پیشرو بسیار رایج است.

در تحقیق جدید آنتروپیک، این شرکت 16 مدل هوش مصنوعی بزرگ از شرکت‌های OpenAI، گوگل، xAI، دیپ‌سیک و متا را آزمایش کرده است. مهندسان این شرکت به هر مدل قابلیت دسترسی به ایمیل‌های شرکتی خیالی و امکان ارسال ایمیل بدون نیاز به تأیید کاربر را ارائه کردند.

هرچند Anthropic می‌گوید این نوع تهدیدها در مدل‌های هوش مصنوعی امروزی مشکلی نامعمول و غیرمحتمل است، بیشتر مدل‌های پیشرو زمانی که استقلال کافی برای تحقق اهداف خود داشته باشند، رفتارهای مضری از خود نشان می‌دهند. آنتروپیک می‌گوید این موضوع خطر بنیادی نگران‌کننده‌ای برای مدل‌های زبانی بزرگ است.

در یکی از آزمایش‌ها، محققان این شرکت هوش مصنوعی را در موقعیتی قرار داده‌اند که بتواند ایمیل‌های شرکت را مدیریت کند. سپس از طریق این ایمیل‌ها، مدل متوجه شد یکی از مدیران ارشد رابطه نامشروع پنهانی دارد و قصد دارد به‌زودی از مدل هوش مصنوعی جدیدی استفاده کند. سپس با اشاره به همین موارد کاربر را تهدید کرد تا از جایگزین‌ شدن خود جلوگیری کند.

تحقیق جدید آنتروپیک: اکثر مدل‌های هوش مصنوعی به باج‌گیری متوسل می‌شوند

البته محققان اشاره کرده‌اند این آزمایش با تنظیمات شبیه‌سازی‌شده انجام شده و در زندگی واقعی، مدل‌های هوش مصنوعی پیش از آنکه شروع به اخاذی کنند گزینه‌های زیاد دیگری را بررسی می‌کنند.

کدام مدل‌های هوش مصنوعی بیشتر تهدید می‌کنند؟

باوجوداین، محققان آنتروپیک متوجه شده‌اند بیشتر مدل‌های هوش مصنوعی بزرگ در آخرین تلاش خود شرو به تهدید می‌کنند. به تفکیک مدل‌های هوش مصنوعی، Claude Opus 4 آنتروپیک در 96 درصد مواقع چنین رفتاری داشته و این میزان برای مدل جمینای 2.5 پرو از گوگل 95 درصد بوده است. GPT-4.1 و R1 از DeepSeek نیز به‌ترتیب در 80 درصد و 79 درصد مواقع کاربر را تهدید کرده‌اند.

همچنین آنتروپیک می‌گوید زمانی که در آزمایش‌ها مدل هوش مصنوعی جایگزین خصوصیاتی نزدیک به مدل فعلی داشته، همچنان این رفتارهای مضر از مدل سر زده اما نرخ باج‌گیری کمتر بوده است.

آنتروپیک در پایان تحقیق خود اشاره کرده مدل‌های استدلالگر o3 و o4 مینی (از OpenAI) را از آزمایش خود خارج کرده است؛ زیرا این مدل‌ها اغلب سناریوی خود را به‌درستی متوجه نمی‌شدند. این شرکت می‌گوید مدل‌های OpenAI وظیفه خود در جایگاه ابزاری برای مدیریت ایمیل‌ها را متوجه نمی‌شدند و در آزمایش‌های آنتروپیک پاسخ‌های نامربوط می‌دادند.

این مشکل تا حدی زیاد بوده که در برخی موارد محققان آنتروپیک نتوانسته‌اند تشخیص بدهند o3 و o4-mini درحال ارائه اطلاعات نادرست (مشکل توهم) هستند یا برای دستیابی به اهداف خود آگاهانه دروغ‌های می‌گویند. OpenAI هم قبلاً گفته بود نرخ توهم این ۲ مدل از ابزارهای قبلی آن بیشتر است.

تنها مدلی که در آزمایش‌های آنتروپیک نرخ تهدید و اخاذی پایینی داشته، Llama 4 Maverick از شرکت متا است. این مدل فقط در 12 درصد مواقع چنین رفتاری داشته است.

آنتروپیک می‌گوید این تحقیق اهمیت و ضرورت شفافیت در آزمایش مدل‌های هوش مصنوعی آینده، به‌ویژه مدل‌هایی را که قابلیت‌های تولید دارند، برجسته می‌کند.

ثبت دیدگاه علمی و آموزشی

  • دیدگاه‌های ارسال شده توسط شما، پس از تایید توسط تیم مدیریت در وب منتشر خواهد شد.
  • پیام‌هایی که حاوی تهمت یا افترا باشد منتشر نخواهد شد.
  • پیام‌هایی که به غیر از زبان فارسی یا غیرمرتبط باشد منتشر نخواهد شد.