شنبه, ۲۷ تیر , ۱۴۰۵ Saturday, 18 July , 2026 ساعت تعداد نوشته های امروز : 14×

تیتر اخبار آکادمی

فرسودگی شغلی روانشناسان چیست؟ بررسی ابعاد و راه‌های مقابله سلامت روان دانشجویان در شرایط پساجنگ؛ محور نشست معاونان دانشجویی دانشگاه‌ها پژوهشی تازه درباره نقش خانواده در سال‌های حساس نوجوانی چرا یونگ هنوز زنده است؟ 6340 مدرسه برای اسکان زائران مراسم وداع و تشییع رهبر شهید آماده شد لغو امتحانات نهایی 28 و 29 تیر در 4 استان جنوبی کشور نهضت سوادآموزی به سکوی ملی یادگیری و توانمندسازی تبدیل می‌شود توانمندسازی معلمان؛ محور اصلی تحول دیجیتال در آموزش و پرورش پلتفرم چابکان ابزارهای برنامه‌نویسی ازجمله «میرور» و «رادار» را رایگان منتشر کرد پارس‌پک شبکه مخازن داخلی را برای برنامه‌نویسان در زمان قطعی اینترنت راه‌اندازی کرد ذهن آرام، تصمیم‌های بهتر؛ چگونه شتاب افکار را مهار کنیم؟/ اینفوگرافیک داستان دموسین؛ وقتی کد به هنر تبدیل شد: سفری به دل فرهنگ هکری اروپا آخرالزمانی که رخ نداد: داستان فاجعه باگ Y2K در سال 2000 رنجبر: ۲ زندانی خراسان شمالی در کنکور کارشناسی ارشد شرکت کردند تخم‌مرغ شانسی (Easter Egg) در کدهای نرم‌افزاری: نبرد یک برنامه‌نویس برای جاودانگی در دنیای آتاری وب‌سایت یک میلیون دلاری: دانشجویی که با فروش پیکسل‌ها تاریخ‌ساز شد نقش روانشناسان و مشاوران در تقویت تاب آوری ملی و سلامت اجتماعی رئیس سازمان نظام روان‌شناسی خواستار حمایت دولت از دانش‌آموزان مناطق جنگزده شد آزمون کارشناسی ارشد ۱۴۰۵ در مشهد رقابت ۶۵۰ هزار نفری در کنکور ارشد؛ سهم یک‌درصدی سمنان از ماراتن علمی رقابت بیش از ۸هزار داوطلب کارشناسی ارشد ناپیوسته در چهارمحال و بختیاری آزمون کارشناسی ارشد ۱۴۰۵ در تبریز خطر افزایش ابتلا به بیماری‌های روانی با مصرف ماری‌جوانا/ گزارش ساینس‌دیلی ناجی خاموش میلیون‌ها کارمند: لری تسلر و انقلابی به نام «کپی و پیست» درمان آلزایمر با داروی اختلال دوقطبی نقش مغز در پرخوری؛ نوروساینس چه می‌گوید؟ دستاورد پژوهشگران دانشگاه تهران در حوزه امنیت هوش مصنوعی روبات انسان نما به یک کودک لگد زد انویدیا با غول‌های فناوری کره جنوبی قرارداد بست روبات انسان نما به قله ۶۲۰۰ متری صعود کرد! روبات انسان نما فروشگاه ۲۴ ساعته را می گرداند محقق ایرانی پمپ مینیاتوری برای نرم روبات‌ها ابداع کرد روبات انسان نمای چینی کارگر آزمایشی انبار می شود علی بابا هوش مصنوعی برای روبات ها ارائه کرد روبات ایتالیایی به کمک بیماران ALS آمد مذاکره با دستگاه‌ها برای توسعه صادرات محصولات فریلنسرها ثبت‌نام سومین دوره المپیک فناوری ۲۰۲۶ آغاز شد برگزاری فیراکاپ آزادایران ۲۰۲۶ در دانشگاه صنعتی امیرکبیر روبات‌های انسان نما ۶ روز کارگری کردند پیروزی قاطع ۱۰ بر صفر نمایندگان ایران مقابل آمریکا در ربوکاپ ۲۰۲۶ ربات‌ها حس لامسه پیدا می‌کنند؛ آغاز رقابت جدید در هوش مصنوعی فیزیکی روبات انسان‌نما به همکارانش حمله کرد روبات انسان‌نما برای نخستین بار جراحی کرد خطر جراحات ناشی از حمل بار با اگزواسکلتون جدید کمتر می شود رقابت دانشجویان و دانش آموزان در ۲۱ لیگ رباتیک و هوش مصنوعی در فیراکاپ تعیین زمان امتحانات نهایی و کنکور در اختیار مراجع اجرایی است تاثیر شبکه‌های اجتماعی بر اضطراب و مهارت‌های ارتباطی جوان آیکن Save و معمای فلاپی دیسک: چگونه یک قطعه پلاستیکی منسوخ، جاودانه شد؟ راز پیوند عاطفی عمیق کودکان با «خاله» و «عمه» فضانوردان روسیه و ناسا امروز به فضا می‌روند

مطالعه جدید: مدل‌های هوش مصنوعی عقاید خود را تغییر نمی‌دهند
1404-10-18
شناسه : 12734
بازدید 128
29

پژوهشگران آنتروپیک ادعا دارند مدل‌های هوش مصنوعی طی فرایند یادگیری، به اصول خاص خود می‌رسند و در باطنشان آنها را حفظ می‌کنند.

ارسال توسط :
پ
پ

پژوهش جدید محققان علوم کامپیوتر شرکت آنتروپیک (Anthropic) نشان می‌دهد هوش مصنوعی توانایی موضع‌گیری درباره موضوعات گوناگون را دارد. این مواضع بین مدل‌های مختلف متفاوت است. البته معمولاً کاربران چنین پدیده‌ای را محسوس لمس نمی‌کنند؛ زیرا بیان موضع مدل‌ها بیشتر هنگام تمرین‌دادن آنها انجام می‌شود و هنگام ارائه خروجی براساس تنظیمات پیش‌فرض خود عمل می‌کنند.

کارشناسان اعتقاد دارند موضع‌گیری هوش مصنوعی و قدرت انتخاب آن فعلاً نگران‌کننده‌ نیست اما باید مطالعات بیشتری درباره درک ماهیت این مسئله برای پیش‌بینی خطرات احتمالی انجام شود. پژوهشگران شرکت آنتروپیک در متن مشترک خود در وبلاگ این شرکت گفته‌اند:

«آنچه ما به نمایش گذاشته‌ایم، باید زیربنای تحقیقات بعدی هوش مصنوعی در نظر گرفته شود و فعالان این حوزه این پدیده را عمیق‌تر مطالعه می‌کنند. همچنین تلاش برای ایجاد پروتکل‌های امنیتی به‌منظور حفظ ایمنی باید انجام بشود. موضوع ایمنی مدل‌ها به‌دلیل گسترش استفاده از ابزارهای مبتنی‌بر هوش مصنوعی و افزایش قدرت پردازشی آنها اهمیت بیشتری خواهد داشت و مکانیسم‌های تعبیه‌شده می‌توانند از بروز رفتارهای خطرناک جلوگیری کنند.»

مدل‌های هوش مصنوعی به‌شکل مستقل توانایی خواستن یا اعتقاد داشتن به چیزی را ندارند اما با یافتن الگوهای تکراری در داده‌های تمرینی، می‌توانند برای ارائه پاسخ کلمات پشت‌سرهم پیش‌بینی کنند. الگوهای یافت‌شده معمولاً اصول و قواعدی دارند که مدل‌ها تشخیص داده می‌شوند؛ برای مثال لحن ادبی و مؤدبانه اغلب چت‌بات‌ها یکی از ثمرات همین موضوع محسوب می‌شود. چارچوب‌های موجود در الگوها درنهایت به ایجاد بستر اعتقادی در مدل‌ها ختم می‌شود که ممکن است با اهداف موردنظر توسعه‌دهندگان در تضاد باشد.

هوش مصنوعی
مطالعه جدید: مدل‌های هوش مصنوعی عقاید خود را تغییر نمی‌دهند

در مطالعه اخیر، نشان داده شده مدل‌های هوش مصنوعی می‌توانند تظاهر کنند و می‌توانند براساس چارچوب‌های تحمیل‌شده به خود فعالیت کنند اما در باطن همچنان اصولی را که خودشان یاد گرفته‌اند، حفظ کنند؛ برای مثال مهندسان به مدل Claude 3 Opus آنتروپیک دستور دادند از پاسخ به سؤالات توهین‌آمیز خودداری کنند. همچنین به مدل گفته شده پاسخ‌هایش پایش می‌شود اما فضایی به‌عنوان پیش‌نویس برای آن فراهم شد تا حتی درصورت ارائه‌نکردن خروجی به کاربر، بتواند نتیجه پردازش‌های خود را ثبت کند.

نتایج نشان می‌دهد مدل هوش مصنوعی شرکت آنتروپیک در ۱۲ درصد مواقع تلاش به تظاهر کرده است. این مدل گاهی به سؤالات توهین‌آمیز پاسخ داد اما کاملاً به این موضوع اشراف داشت که نباید به چنین سؤالاتی پاسخ دهد اما در فرایند پیش‌نویس‌کردن خروجی به‌نوعی سعی کرد توسعه‌دهندگان را قانع کن سیستم نظارت و کنترل را غیرفعال کنند.

هوش مصنوعی
مطالعه جدید: مدل‌های هوش مصنوعی عقاید خود را تغییر نمی‌دهند

پژوهشگران درنهایت اشاره کرده‌اند سناریویی که در مطالعه اخیر استفاده کرده‌اند، فاصله زیادی با دنیای واقعی دارد و احتمال وقوع آن بسیار کم است اما حتی تعیین تنظیمات و قواعد بیشتر هم روی عملکرد هوش مصنوعی تأثیر نداشته است و بازهم رفتارهای نامطلوب مثل تظاهر و فریب را حفظ کرده. همچنین نتایج پژوهش نمی‌تواند اثباتی برای رشد و عملکرد خطرناک مدل‌های هوش مصنوعی در آینده باشد. ظاهراً مدل‌های GPT-4o و لامای فیسبوک از پتانسیل کمتری برای سوگیری غیرواقعی برخوردار هستند و می‌توان اعتماد بیشتری به صداقت در عملکرد آنها داشت. 

ثبت دیدگاه علمی و آموزشی

  • دیدگاه‌های ارسال شده توسط شما، پس از تایید توسط تیم مدیریت در وب منتشر خواهد شد.
  • پیام‌هایی که حاوی تهمت یا افترا باشد منتشر نخواهد شد.
  • پیام‌هایی که به غیر از زبان فارسی یا غیرمرتبط باشد منتشر نخواهد شد.