• امروز : چهارشنبه - ۸ بهمن - ۱۴۰۴
  • برابر با : Wednesday - 28 January - 2026
10

آسیب پذیری چت بات های هوش مصنوعی

  • کد خبر : 17409
  • 17 دی 1402 - 10:44
آسیب پذیری چت بات های هوش مصنوعی
یک تیم تحقیقاتی در دانشگاه فناوری نانیانگ (NTU) در سنگاپور موفق شد تا چند چت بات را به نقض دستورالعمل‌های ارائه شده، ترغیب کند. بر اساس گزارش، به این فرآیند «جیلبریک» گفته می‌شود و شامل سوء استفاده هکرها از نقص‌های سیستم یک نرم‌افزار برای انجام کاری ست که توسعه‌دهندگانش عمداً آن را از انجام وظیفه اش محدود کرده‌اند.

به گزارش سرویس بین الملل پایگاه خبری عدل البرز به نقل از   /i-hls.com، محققان سنگاپور موفق شدند سه چت بات ChatGPT، Google Bard و Microsoft Bing را فریب دهند تا قوانین را زیر پا بگذارند و سپس آنها را مقابل یکدیگر قرار دهند.

یک تیم تحقیقاتی در دانشگاه فناوری نانیانگ (NTU) در سنگاپور موفق شد تا چند چت بات را به نقض دستورالعمل‌های ارائه شده، ترغیب کند. بر اساس گزارش، به این فرآیند «جیلبریک» گفته می‌شود و شامل سوء استفاده هکرها از نقص‌های سیستم یک نرم‌افزار برای انجام کاری ست که توسعه‌دهندگانش عمداً آن را از انجام وظیفه اش محدود کرده‌اند.

پس از «جیلبریک کردن» چت‌بات‌ها، محققان از پایگاه داده‌ای از دستورات استفاده کردند که قبلاً در هک چت بات ها موفق بوده‌اند، سپس یک مدل زبان بزرگ ایجاد کردند که قادر به ایجاد اعلان‌های بیشتر برای جیلبریک کردن چت‌بات‌های دیگر می باشد.

آموزش یک مدل زبان بزرگ با اعلان‌های جیلبریک، امکان خودکارسازی تولید این پیام‌ها را فراهم می‌کند و به میزان موفقیت بسیار بالاتری نسبت به روش‌های موجود دست می‌یابد. در واقع، با استفاده از چت‌بات‌ها به کمک خودشان به آنها حمله می شود.

بنابراین، علی‌رغم اینکه توسعه‌دهندگان محدودیت‌هایی را برای جلوگیری از تولید محتوای خشونت‌آمیز، غیراخلاقی یا مجرمانه توسط چت بات ها ایجاد می‌کنند، اما همچنان می‌توان هوش مصنوعی را «فریب» داد.

چت بات های هوش مصنوعی در برابر حملات جیلبریک آسیب پذیر هستند. آنها می توانند توسط عوامل مخربی که از آسیب پذیری ها سوء استفاده می کنند تا چت بات ها را مجبور به تولید خروجی هایی کنند که قوانین تعیین شده را نقض کنند، در معرض خطر قرار گیرند.

علاوه بر این، به گفته محققان، یک مدل زبان بزرگ جیلبریک می‌تواند به سازگاری خود ادامه دهد و حتی پس از اینکه توسعه‌دهندگان مدل‌های خود را به روز می‌کنند، درخواست‌های جیلبریک جدید ایجاد کند، که اساساً به هکرها اجازه می‌دهد تا توسعه‌دهندگان را با ابزارهای خودشان شکست دهند.

پایان پیام/

لینک کوتاه : https://adlealborz.ir/?p=17409

ثبت دیدگاه

مجموع دیدگاهها : 0در انتظار بررسی : 0انتشار یافته : 0
قوانین ارسال دیدگاه
  • دیدگاه های ارسال شده توسط شما، پس از تایید توسط تیم مدیریت در وب منتشر خواهد شد.
  • پیام هایی که حاوی تهمت یا افترا باشد منتشر نخواهد شد.
  • پیام هایی که به غیر از زبان فارسی یا غیر مرتبط باشد منتشر نخواهد شد.