گوگل تهدیدهای مولد هوش مصنوعی را به برنامه باگ بونتی خود اضافه می کند

به گزارش اپست به نقل از تک کرانچ، گوگل برنامه پاداش آسیب پذیری خود (VRP) را گسترش داده است تا سناریوهای حمله مخصوص هوش مصنوعی مولد را شامل شود.

گوگل در اطلاعیه‌ای که پیش از انتشار با TechCrunch به اشتراک گذاشته شد، گفت: «ما معتقدیم گسترش VRP به تحقیقات در مورد ایمنی و امنیت هوش مصنوعی انگیزه می‌دهد و مسائل بالقوه را آشکار می‌کند که در نهایت هوش مصنوعی را برای همه ایمن‌تر می‌کند.»

برنامه پاداش آسیب‌پذیری Google (یا پاداش باگ) به هکرهای اخلاقی تعلق میگرید که بر روی یافتن و افشای مسئولانه نقص‌های امنیتی کار میکنند.

با توجه به اینکه هوش مصنوعی مولد مسائل امنیتی جدیدی را آشکار می کند، مانند احتمال سوگیری ناعادلانه یا دستکاری مدل، گوگل گفت که به دنبال بازنگری در نحوه دسته بندی و گزارش باگ های دریافتی است.

این غول فناوری می‌گوید که این کار را با استفاده از یافته‌های تیم تازه تأسیس هوش مصنوعی خود انجام می‌دهد، گروهی از هکرها که انواع مختلفی از دشمنان را شبیه‌سازی می‌کنند، از دولت‌های ملت و گروه‌های تحت حمایت دولت گرفته تا هکرها و خودی‌های مخرب برای تعقیب ضعف‌های امنیتی در فن آوری. این تیم اخیراً تمرینی را برای تعیین بزرگترین تهدیدهای فناوری پشت محصولات هوش مصنوعی مولد مانند ChatGPT و Google Bard انجام داده است.

این تیم دریافت که مدل‌های زبان بزرگ (یا LLM) در برابر حملات تزریق فوری آسیب‌پذیر هستند، به عنوان مثال، به موجب آن یک هکر درخواست‌های متخاصمی ایجاد می‌کند که می‌تواند بر رفتار مدل تأثیر بگذارد. مهاجم می تواند از این نوع حمله برای تولید متن مضر یا توهین آمیز یا برای درز اطلاعات حساس استفاده کند. آنها همچنین در مورد نوع دیگری از حمله به نام استخراج داده‌های آموزشی هشدار دادند که به هکرها اجازه می‌دهد تا نمونه‌های آموزشی را به‌لفظ بازسازی کنند تا اطلاعات یا رمزهای عبور شخصی را از داده‌ها استخراج کنند.

هر دوی این نوع حملات در حوزه VRP توسعه یافته گوگل، همراه با دستکاری مدل و حملات سرقت مدل، پوشش داده می‌شوند، اما گوگل می‌گوید به محققانی که باگ‌های مربوط به مسائل کپی رایت یا استخراج داده‌ها را که غیرحساس‌ها را بازسازی می‌کند، کشف کنند، پاداشی ارائه نمی‌کند. یا اطلاعات عمومی

پاداش های پولی بر اساس شدت آسیب پذیری کشف شده متفاوت خواهد بود. محققان در حال حاضر اگر حملات تزریق فرمان و اشکالات deserialization را در برنامه های بسیار حساس مانند جستجوی Google یا Google Play پیدا کنند، می توانند ۳۱۳۳۷ دلار درآمد کسب کنند. اگر نقص ها بر برنامه هایی تأثیر بگذارد که اولویت کمتری دارند، حداکثر پاداش ۵۰۰۰ دلار است.

گوگل می گوید که در سال ۲۰۲۲ بیش از ۱۲ میلیون دلار به عنوان پاداش به محققان امنیتی پرداخت کرده است.