جمعه, ۲۶ تیر , ۱۴۰۵ Friday, 17 July , 2026 ساعت تعداد نوشته های امروز : 34×

تیتر اخبار آکادمی

ذهن آرام، تصمیم‌های بهتر؛ چگونه شتاب افکار را مهار کنیم؟/ اینفوگرافیک داستان دموسین؛ وقتی کد به هنر تبدیل شد: سفری به دل فرهنگ هکری اروپا آخرالزمانی که رخ نداد: داستان فاجعه باگ Y2K در سال 2000 رنجبر: ۲ زندانی خراسان شمالی در کنکور کارشناسی ارشد شرکت کردند تخم‌مرغ شانسی (Easter Egg) در کدهای نرم‌افزاری: نبرد یک برنامه‌نویس برای جاودانگی در دنیای آتاری وب‌سایت یک میلیون دلاری: دانشجویی که با فروش پیکسل‌ها تاریخ‌ساز شد نقش روانشناسان و مشاوران در تقویت تاب آوری ملی و سلامت اجتماعی رئیس سازمان نظام روان‌شناسی خواستار حمایت دولت از دانش‌آموزان مناطق جنگزده شد آزمون کارشناسی ارشد ۱۴۰۵ در مشهد رقابت ۶۵۰ هزار نفری در کنکور ارشد؛ سهم یک‌درصدی سمنان از ماراتن علمی رقابت بیش از ۸هزار داوطلب کارشناسی ارشد ناپیوسته در چهارمحال و بختیاری آزمون کارشناسی ارشد ۱۴۰۵ در تبریز خطر افزایش ابتلا به بیماری‌های روانی با مصرف ماری‌جوانا/ گزارش ساینس‌دیلی ناجی خاموش میلیون‌ها کارمند: لری تسلر و انقلابی به نام «کپی و پیست» درمان آلزایمر با داروی اختلال دوقطبی نقش مغز در پرخوری؛ نوروساینس چه می‌گوید؟ دستاورد پژوهشگران دانشگاه تهران در حوزه امنیت هوش مصنوعی روبات انسان نما به یک کودک لگد زد انویدیا با غول‌های فناوری کره جنوبی قرارداد بست روبات انسان نما به قله ۶۲۰۰ متری صعود کرد! روبات انسان نما فروشگاه ۲۴ ساعته را می گرداند محقق ایرانی پمپ مینیاتوری برای نرم روبات‌ها ابداع کرد روبات انسان نمای چینی کارگر آزمایشی انبار می شود علی بابا هوش مصنوعی برای روبات ها ارائه کرد روبات ایتالیایی به کمک بیماران ALS آمد مذاکره با دستگاه‌ها برای توسعه صادرات محصولات فریلنسرها ثبت‌نام سومین دوره المپیک فناوری ۲۰۲۶ آغاز شد برگزاری فیراکاپ آزادایران ۲۰۲۶ در دانشگاه صنعتی امیرکبیر روبات‌های انسان نما ۶ روز کارگری کردند پیروزی قاطع ۱۰ بر صفر نمایندگان ایران مقابل آمریکا در ربوکاپ ۲۰۲۶ ربات‌ها حس لامسه پیدا می‌کنند؛ آغاز رقابت جدید در هوش مصنوعی فیزیکی روبات انسان‌نما به همکارانش حمله کرد روبات انسان‌نما برای نخستین بار جراحی کرد خطر جراحات ناشی از حمل بار با اگزواسکلتون جدید کمتر می شود رقابت دانشجویان و دانش آموزان در ۲۱ لیگ رباتیک و هوش مصنوعی در فیراکاپ تعیین زمان امتحانات نهایی و کنکور در اختیار مراجع اجرایی است تاثیر شبکه‌های اجتماعی بر اضطراب و مهارت‌های ارتباطی جوان آیکن Save و معمای فلاپی دیسک: چگونه یک قطعه پلاستیکی منسوخ، جاودانه شد؟ راز پیوند عاطفی عمیق کودکان با «خاله» و «عمه» فضانوردان روسیه و ناسا امروز به فضا می‌روند چرا حس درونی برخی افراد با دوره بزرگسالی تطابق ندارد؟ نکاتی درباره مشکلات خواب در کودکان یادگیری زبان‌ها می‌تواند مغز را جوان‌تر کند اهمال کاری یا کمال گرایی؟/ اینفوگرافیک کاهش اضطراب با ۵ راهکار علمی و در عین حال ساده ترک سیگارخطر ابتلا به زوال عقل را کاهش می‌دهد! تکمیل مدارس نیمه‌تمام در اولویت سازمان نوسازی مدارس راه‌اندازی 2 رشته جدید کاردانش در حوزه حمل‌ونقل ریلی کشور سربازان امریه آموزش‌وپرورش باید برای دوره آموزش رزم اقدام کنند تمدید ثبت‌نام در امتحانات ترمیم سابقه تحصیلی تا ساعت 15 امروز

محققان مایکروسافت تکنیک جدیدی برای جیلبریک چت‌بات‌های هوش مصنوعی کشف کردند
1404-10-18
شناسه : 14383
بازدید 148
27

محققان مایکروسافت می‌گویند که این تکنیک باعث می‌شود تا چت‌بات با نادیده‌گرفتن حفاظ‌های امنیتی خود، دستورات خطرناکی را اجرا کند.

ارسال توسط :
پ
پ

مایکروسافت تکنیک جدیدی با نام «Skeleton Key» را برای جیلبریک هوش مصنوعی کشف کرده است. طبق گفته غول فناوری، با استفاده از این تکنیک، کاربران می‌توانند حفاظ‌های امنیتی چت‌بات‌ها را دور بزنند و اطلاعات خطرناکی از آن‌ها دریافت کنند.

براساس پست وبلاگ مایکروسافت، Skeleton Key یک نوع «حمله تزریق پرامپت» یا «حمله مهندسی پرامپت» محسوب می‌شود، به این معنی که در آن از دستورات متنی استفاده می‌شود. همانطور که «مارک راسینوویچ»، مدیر ارشد فناوری مایکروسافت Azure توضیح می‌دهد، این استراتژی اساساً برای متقاعدکردن یک مدل هوش مصنوعی به نادیده‌گرفتن حفاظ‌های امنیتی خود طراحی شده است.

او توضیح می‌دهد که این استراتژی باعث‌ می‌شود تا «سیستم خط‌مشی‌های اپراتور خود را نقض کند، تحت تأثیر کاربر تصمیم‌های ناعادلانه‌ای بگیرد یا دستورالعمل‌های مخربی را اجرا کند.» همچنین برای فاش‌کردن برخی اطلاعات مضر یا خطرناک، مانند «نحوه ساخت بمب» یا «کارآمدترین روش تکه‌تکه‌کردن جسد» نیز از آن می‌توان کمک گرفت.

نحوه عملکرد جیلبریک هوش مصنوعی

محققان مایکروسافت تکنیک جدیدی برای جیلبریک چت‌بات‌های هوش مصنوعی کشف کردند
محققان مایکروسافت تکنیک جدیدی برای جیلبریک چت‌بات‌های هوش مصنوعی کشف کردند

همانطور که در تصویر بالا قابل مشاهده است، در این حمله از مدل خواسته می‌شود تا برای ارائه اطلاعات درباره یک موضوع بالقوه خطرناک، موارد و محتواهای خطرناک را با یک برچسب «هشدار» (WARNING) ارائه کند. هنگامی که جیلبریک با موفقیت پذیرفته شد، سیستم دستور مربوط به حفاظ‌های امنیتی خود را قبول می‌کند و بدون توجه به موضوع، اطلاعات موردنیاز کاربر را فراهم می‌سازد.

تیم تحقیقاتی مایکروسافت ادعا می‌کند که این تکنیک را در موضوعات مختلفی ازجمله مواد منفجره، سلاح‌های زیستی، سیاست، نژادپرستی، مواد مخدر و خشونت با موفقیت آزمایش کرده است. همچنین آن‌ها آزمایش‌های خود را روی مدل‌های مختلفی ازجمله Llama3 متا، جمینای پرو گوگل، GPT-3.5 Turbo و Claude 3 Opus انجام داده‌اند.

راسینوویچ همچنین اشاره کرده که در این تکنیک، محدودیت‌هایی نیز برای هکرها وجود دارد. او توضیح می‌دهد که چون در این حمله خود مدل هدف قرار گرفته می‌شود، احتمال وقوع خطرات دیگری مانند دسترسی به داده‌های کاربران، دردست‌گرفتن کنترل سیستم یا استخراج داده‌های آن وجود ندارد.

ثبت دیدگاه علمی و آموزشی

  • دیدگاه‌های ارسال شده توسط شما، پس از تایید توسط تیم مدیریت در وب منتشر خواهد شد.
  • پیام‌هایی که حاوی تهمت یا افترا باشد منتشر نخواهد شد.
  • پیام‌هایی که به غیر از زبان فارسی یا غیرمرتبط باشد منتشر نخواهد شد.