کلاودفلر خزنده های وب را به یک “هزارتوی هوش مصنوعی” جذب می‌کند
کلاودفلر، یکی از غول‌های زیرساخت اینترنت جهانی، ابزار نوآورانه‌ای به نام AI Labyrinth رونمایی کرده که هدف آن جلوگیری از فعالیت‌های خزنده‌های وب است که به صورت غیرمجاز داده‌های سایت‌ها را برای آموزش هوش مصنوعی جمع‌آوری می‌کنند. این شرکت توضیح داده که این ابزار هوشمند زمانی که رفتار نامناسب ربات‌ها را شناسایی کند، آنها را به شبکه‌ای از صفحات جعلی هدایت می‌کند که توسط هوش مصنوعی طراحی شده‌اند.
این صفحات، به شکلی هوشمندانه باعث کاهش منابع، سردرگمی و اتلاف زمان ربات‌ها می‌شوند. ابزار AI Labyrinth یک روش پیشرفته و نوآورانه برای مقابله با رفتارهای خزنده‌های مخرب معرفی می‌کند. وب‌سایت‌ها از دیرباز از فایل متنی robots.txt برای مدیریت تعامل با خزنده‌های وب استفاده کرده‌اند؛ این فایل به شکلی ساده، دسترسی یا محدودیت دسترسی خزنده‌ها به داده‌های سایت را مشخص می‌کند.
با این حال، شرکت‌های هوش مصنوعی حتی برندهای شناخته‌شده‌ای مانند Anthropic و Perplexity AI، به نادیده گرفتن این سیستم متهم شده‌اند. کلاودفلر اشاره می‌کند که روزانه با بیش از 50 میلیارد درخواست خزنده وب روبروست. با وجود ابزارهای پیشرفته‌ای که برای شناسایی و مسدود کردن خزنده‌های مخرب در اختیار دارد، این فعالیت معمولاً مهاجمان را به تغییر روش‌های خود وادار می‌کند، و این رقابت به نبردی بی‌پایان تبدیل می‌شود.
کلاودفلر توضیح می‌دهد که به‌جای مسدود کردن ربات‌ها، ابزار AI Labyrinth با هدایت آنها به پردازش داده‌های نامرتبط با محتوای واقعی وب‌سایت، به مبارزه می‌پردازد. این فناوری همچنین به‌عنوان “یک تله نسل نوین” عمل می‌کند و خزنده‌های هوش مصنوعی را به مسیری از صفحات جعلی هدایت می‌کند که تنها ربات‌ها به دنبال آن می‌روند، نه کاربران انسانی.
این رویکرد هوشمندانه به کلاودفلر کمک می‌کند تا ربات‌های مخرب را به راحتی شناسایی کرده و آنها را به لیست متخلفان اضافه کند. همچنین امکان شناسایی الگوها و امضاهای جدید ربات‌هایی را فراهم می‌کند که در شرایط عادی قابل تشخیص نبودند. لازم به ذکر است که این لینک‌ها برای کاربران انسانی غیرقابل مشاهده طراحی شده‌اند.
مدیران سایت‌ها می‌توانند ابزار AI Labyrinth را از طریق بخش مدیریت ربات‌ها در تنظیمات داشبورد Cloudflare فعال کنند. این شرکت اعلام کرده که این ابزار تنها اولین گام در استفاده از هوش مصنوعی تولیدی برای مقابله با خزنده‌های وب است. در آینده، قصد دارد شبکه‌ای گسترده از URLهای مرتبط ایجاد کند که خزنده‌ها را در میان صفحات جعلی گرفتار کند و تشخیص جعلی بودن این صفحات برای آنها دشوار باشد.
همچنین، طبق گزارش Ars Technica، ابزار AI Labyrinth شباهت زیادی به Nepenthes دارد؛ فناوری که طراحی شده تا خزنده‌های وب را برای مدت زمان طولانی در میان داده‌های بی‌فایده و مصنوعی سرگردان نگه دارد.
