ضرب‌الاجل کلودفلر: خزنده‌های جستجو و هوش مصنوعی تا ۲۵ شهریور جدا شوند

جهان فناوری شاهد حرکت جسورانه‌ای از سوی کلودفلر است؛ شرکتی که حالا با قدرت زیرساختی خود، مرز بین خزنده‌های جستجوی سنتی و خزنده‌های آموزش هوش مصنوعی را شفاف‌تر می‌کند. طبق گزارشی که امروز در TechCrunch منتشر شد، کلودفلر به‌طور رسمی اعلام کرده است که از ۱۵ سپتامبر ۲۰۲۶ (برابر با ۲۵ شهریور ۱۴۰۵)، تنظیمات پیش‌فرض پلتفرم خود را تغییر می‌دهد تا خزنده‌های «ترکیبی» (mixed-use) را در سایت‌هایی که تبلیغات نمایش می‌دهند، مسدود کند.

چه خزنده‌هایی مسدود می‌شوند؟

خزنده‌های ترکیبی آن دسته از ربات‌هایی هستند که به طور هم‌زمان برای مقاصد مختلفی مانند جستجوی وب، آموزش مدل‌های هوش مصنوعی و سرویس‌های عامل‌های هوش مصنوعی (AI agents) از محتوای سایت‌ها استفاده می‌کنند. کلودفلر معتقد است که این رویکرد، حقوق مالکیت فکری ناشران را نادیده می‌گیرد و اکوسیستم وب را از تعادل خارج کرده است. این تغییرات شامل مشتریان جدید کلودفلر، سایت‌های تازه‌ی مشتریان فعلی و تمامی کاربران رایگان (Free Plan) می‌شود.

چرا این تصمیم مهم است؟

داده‌های کلودفلر نشان می‌دهد که اکنون بیش از نیمی از ترافیک اینترنت توسط بات‌ها و ربات‌ها مصرف می‌شود و نقطه‌ی عطفی که انتظار می‌رفت سال آینده رخ دهد، پیش از موعد فرا رسیده است. متیو پرینس، هم‌بنیانگذار و مدیرعامل کلودفلر، در بیانیه‌ای تأکید کرد: «اکنون که بخش عمده‌ی ترافیک اینترنت غیرانسانی است، باید سریع‌تر و جدی‌تر عمل کنیم تا یک اکوسیستم پایدار شکل بگیرد.»

اشاره‌ی غیرمستقیم به گوگل

کلودفلر در بیانیه‌اش، بدون ذکر نام، «بزرگ‌ترین موتور جستجوی جهان» را هدف گرفته و مدعی است که این شرکت به حدود دو برابر اطلاعات بیشتری نسبت به سایر شرکت‌های هوش مصنوعی دسترسی دارد، زیرا تفکیک جستجو از آموزش هوش مصنوعی را برای صاحبان سایت دشوار می‌کند. گوگل پیشتر با معرفی رباتی به نام Google Extended به صاحبان سایت اجازه می‌دهد محتوای خود را از چرخه‌ی آموزش مدل‌های هوش مصنوعی (مانند Gemini و Vertex API) خارج کنند، اما خزنده‌ی اصلی گوگل، یعنی Googlebot، همچنان برای جستجو و قابلیت‌های هوش مصنوعی مانند AI Overviews و AI Mode استفاده می‌شود.

از پرداخت به‌ازای خزش تا پرداخت به‌ازای استفاده

کلودفلر که پیش‌تر سرویس «پرداخت به‌ازای خزش» (Pay Per Crawl) را راه‌اندازی کرده بود، حالا این مدل را به «پرداخت به‌ازای استفاده» (Pay Per Use) ارتقا داده است. بر این اساس، ناشران می‌توانند زمانی که محتوایشان برای یک سرویس هوش مصنوعی ارزش‌آفرینی می‌کند – نه فقط هنگام دریافت شدن – از شرکت‌های هوش مصنوعی پول دریافت کنند. کلودفلر در فاز اول با دو شریک به نام‌های Ceramic.ai و You.com همکاری می‌کند. برای مثال، وقتی محتوای یک ناشر در نتایج جستجوی هوش مصنوعی Ceramic.ai نمایش داده شود یا پلتفرم You.com به محتوای پریمیوم او دسترسی پیدا کند، ناشر درآمد کسب خواهد کرد.

چه تأثیری بر وب‌سایت‌های ایرانی دارد؟

بسیاری از وب‌سایت‌ها و فروشگاه‌های اینترنتی ایرانی از سرویس‌های کلودفلر، به‌ویژه نسخه‌ی رایگان آن، استفاده می‌کنند. با اجرای این سیاست از ۲۵ شهریور، سایت‌هایی که تبلیغات دارند، به‌طور پیش‌فرض از دسترسی خزنده‌های ترکیبی محافظت خواهند شد. این یعنی محتوای فارسی که برای آموزش مدل‌های هوش مصنوعی استفاده می‌شود، بدون رضایت صاحب سایت قابل برداشت نخواهد بود. همچنین، اگرچه مدل‌های درآمدی جدید مانند Pay Per Use در حال حاضر بیشتر با شرکت‌های بین‌المللی همکاری دارند، اما مسیر را برای راه‌حل‌های بومی و حمایت از تولیدکنندگان محتوای فارسی نیز هموار می‌کند.

در مجموع، اولتیماتوم کلودفلر نشان می‌دهد که دوران استفاده‌ی رایگان و بی‌ضابطه از محتوای وب برای آموزش هوش مصنوعی رو به پایان است و ناشران می‌توانند سهم عادلانه‌تری از ارزشی که محتوایشان ایجاد می‌کند، دریافت کنند.