حمله هوش مصنوعی اوپن کلاو به صندوق ورودی ایمیل یک پژوهشگر! به گزارش عصر لینک، یک پژوهشگر امنیتی «متا ای آی» اظهار داشت که عامل هوش مصنوعی «اوپن کلاو» به صندوق ورودی ایمیل او حمله کرده است. به گزارش عصر لینک به نقل از ایسنا، پست جدید «سامر یوئه»(Summer Yue)، پژوهشگر امنیتی «متا ای آی»(Meta AI) که هم اکنون دست به دست می شود، در ابتدا شبیه به یک شوخی به نظر می آید. او به عامل هوش مصنوعی «اوپن کلاو»(OpenClaw) اظهار داشت که صندوق ورودی ایمیل پر از پیامش را بررسی کند و پیشنهاد دهد چه چیزی حذف یا بایگانی شود. به نقل از تک کرانچ، عامل هوش مصنوعی اوپن کلاو به سرعت آغاز به حذف همه ایمیل های یوئه کرد و دستورهای رسیده از تلفن همراه او را که به می گفت کارش را متوقف نماید، نادیده گرفت. یوئه با انتشار تصاویری از دستورهای توقف نادیده گرفته شده نوشت: مجبور شدم مانند عملیات خنثی سازی بمب به سوی «مک مینی»(Mac mini) خود بدوم. مک مینی، یک کامپیوتر اقتصادی ساخت «اپل» است که در کف دست جا می شود و اینروزها به دستگاه محبوبی برای اجرای اوپن کلاو تبدیل گشته است. اوپن کلاو یک عامل هوش مصنوعی متن باز است که از راه شبکه اجتماعی «مولتبوک»(Moltbook) ویژه هوش مصنوعی به شهرت رسید. عامل های اوپن کلاو در مرکز بخشی از مولتبوک قرار داشتند که به نظر می رسید که در آن عوامل هوش مصنوعی مقابل انسان ها توطئه می کنند، اما در صفحه «گیت هاب»(GitHub) اوپن کلاو نوشته شده است که مأموریت آن بر شبکه های اجتماعی متمرکز نیست. هدف اوپن کلاو تبدیل شدن به یک دستیار هوش مصنوعی شخصی است که روی دستگاههای شخصی اجرا می شود. جمعیت حاضر در سیلیکون ولی به قدری شیفته اوپن کلاو شده اند که «claw» و «claws» به واژه های کلیدی مورد علاقه آنها برای عامل هایی تبدیل گشته اند که روی سخت افزار شخصی اجرا می شوند. از دیگر عوامل این چنینی میتوان به «زیروکلاو»(ZeroClaw)، «آیرن کلاو»(IronClaw) و «پیکوکلاو»(PicoClaw) اشاره نمود. حتی گروه پادکست «Y Combinator» در جدید ترین قسمت پادکست خود با لباس خرچنگ دریایی ظاهر شدند.با این وجود، پست یوئه یک هشدار است. همان گونه که کاربران دیگر نیز در پلت فرم ایکس خاطرنشان کردند، اگر یک پژوهشگر امنیت هوش مصنوعی با این مشکل رو به رو شود، افراد عادی چه امیدی دارند؟ یک توسعه دهنده نرم افزار در پلت فرم ایکس از یوئه پرسید: «آیا عمداً گزینه های حفاظت آنرا آزمایش می کردی یا یک اشتباه ناشیانه مرتکب شدی؟» و یوئه پاسخ داد: «این یک اشتباه تازه کارانه بود.» بگفته یوئه، او اهتمام داشت عامل هوش مصنوعی را با یک صندوق ورودی کوچک تر آزمایش کند که روی ایمیل های کم اهمیت تر خوب کار می کرد لذا اعتماد او را جلب کرده بود. یوئه باور دارد که حجم زیاد داده ها در صندوق ورودی واقعی اش به فشرده سازی منجر گردیده است. او نوشت: فشرده سازی زمانی اتفاق می افتد که پنجره زمینه (سابقه اجرای هر چیزی که به هوش مصنوعی گفته شده و در یک جلسه انجام داده است) بیش از حد بزرگ شود و عامل را به خلاصه سازی، فشرده سازی و مدیریت گفتگو وادار کند. در آن مرحله، هوش مصنوعی امکان دارد از دستورالعمل هایی صرف نظر کند که انسان آنها را خیلی مهم می داند. در این مورد، عامل هوش مصنوعی امکان دارد آخرین دستور یوئه را که در آن به او گفته بود کاری نکند، نادیده گرفته و به دستورالعمل هایش از صندوق ورودی کوچک تر برگشته باشد. همان گونه که چندین کاربر دیگر در ایکس اشاره کردند، نمی توان به دستورالعمل ها بعنوان محافظ امنیتی اعتماد کرد، برای اینکه مدلها امکان دارد آنها را اشتباه تفسیر کنند یا نادیده بگیرند. افراد گوناگونی پیشنهادهایی را ارایه دادند. پیشنهادها از چارچوب دقیقی که یوئه باید برای متوقف کردن عامل استفاده می کرد تا روشهای متعدد برای اطمینان از پایبندی بهتر به قوانین مانند نوشتن دستورالعمل ها در فایل های اختصاصی یا استفاده از سایر فناوری های متن باز متغیر بودند. تک کرانچ نمی تواند بطور مستقل تأیید کند که چه اتفاقی برای صندوق ورودی یوئه افتاده است، برای اینکه او به درخواست تک کرانچ برای اظهار نظر پاسخ نداد. نکته ماجرا اینست که عوامل هوش مصنوعی درنظرگرفته شده برای کارکنان دانش محور، در مرحله فعلی توسعه خطرناک هستند. افرادی که می گویند با موفقیت از آنها استفاده می نمایند، درحال سرهم بندی روش هایی برای صیانت از خود هستند. عوامل هوش مصنوعی امکان دارد روزی و شاید به زودی جهت استفاده گسترده آماده شوند. خیلی از ما دوست داریم که عوامل هوش مصنوعی در زمینه ایمیل، سفارش مواد غذایی و تعیین وقت ملاقات با دندانپزشک به ما کمک کنند، اما آن روز هنوز فرا نرسیده است.خلاصه اینکه حتی گروه پادکست Y Combinator در تازه ترین قسمت پادکست خود با لباس خرچنگ دریایی ظاهر شدند. او نوشت: فشرده سازی زمانی اتفاق می افتد که پنجره زمینه (سابقه اجرای هر چیزی که به هوش مصنوعی گفته شده و در یک جلسه انجام داده است) بیش از اندازه بزرگ شود و عامل را به خلاصه سازی، فشرده سازی و مدیریت گفتگو وادار کند. تک کرانچ نمی تواند به طور مستقل تأیید کند که چه اتفاقی برای صندوق ورودی یوئه افتاده است، به جهت اینکه او به درخواست تک کرانچ برای اظهار نظر پاسخ نداد. 1404/12/07 13:06:14 14 0.0 / 5 تگهای مطلب: اپل , اقتصاد , امنیت , راه این پست عصر لینک را می پسندید؟ (0) (0) تازه ترین مطالب مرتبط سلام کردن هوش مصنوعی گوگل 104 ثانیه زمان می برد! هوش مصنوعی در آموزش فرصت رشد شناختی یا تهدیدی برای تفکر مستقل؟ هوش مصنوعی و استقلال فناورانه ایران خرچنگ دریایی هوش مصنوعی آنقدرها هم هیجان انگیز نیست! هشدار وزیر ارتباطات درباره ی ادامه فیلترینگ و کوچ مردم به اینترنت ماهواره ای نظرات بینندگان در مورد این مطلب نظر شما در مورد این مطلب نام: ایمیل: نظر: سوال: = ۳ بعلاوه ۳