هل تحجب المواقع العربية زواحف الذكاء الاصطناعي؟ فحصنا ملف robots.txt لـ50 علامة تجارية

معظم العلامات العربية لا تحجب زواحف الذكاء الاصطناعي في robots.txt. في 2 أكتوبر 2026 جلبنا robots.txt من 50 علامة عربية كبيرة: كان 37 ملفًا قابلًا للقراءة، 25 منها لا تذكر أي زاحف ذكاء اصطناعي، و6 فقط تحجب واحدًا على مستوى الموقع. والخطر الأكبر يكمن في جدران الحماية، التي يمكنها إيقاف الزواحف التي يسمح بها robots.txt.

أبرز النقاط

• 25 من 37 ملفًا قابلًا للقراءة (68%) لا تذكر أي زاحف ذكاء اصطناعي إطلاقًا، فيتبع كل زاحف ذكاء اصطناعي قواعد * العامة.
• 6 من 37 تحجب زاحف ذكاء اصطناعي واحدًا على الأقل على مستوى الموقع، و3 من هذه الستة تخلط بين زواحف التدريب وزواحف البحث.
• لا يذكر أي ملف Claude-SearchBot أو Claude-User أو Perplexity-User. اثنان يحجبان PerplexityBot؛ ولا أحد يحجب OAI-SearchBot.
• ليس لـGoogle-Extended أي أثر على Google Search أو AI Overviews؛ فقواعد Googlebot تحكم الاثنين.
• 13 من 50 علامة لم تعطنا robots.txt قابلًا للقراءة، وموقعان متساهلان رفضا روابط أخرى. دقّق CDN، وليس الملف فقط.

ماذا تقول العلامات العربية لزواحف الذكاء الاصطناعي في robots.txt؟

لا شيء تقريبًا. من الملفات القابلة للقراءة الـ37، لا يحتوي 25 (68%) على مجموعة لأي من وكلاء الذكاء الاصطناعي الـ15 التي تتبعناها، فتتبع هذه الزواحف قواعد * نفسها مثل أي زاحف آخر. اثنا عشر ملفًا تذكر وكيل ذكاء اصطناعي واحدًا على الأقل: سبعة تسمح صراحة ببعضها، وستة تحجب واحدًا على الأقل، وواحد يفعل الأمرين.

لا يحجب أي ملف الموقع كله تحت *: 15 تسمح بكل شيء و22 تغلق مسارات فقط مثل السلة والدفع. وكانت لمصر أكثر الملفات غير القابلة للقراءة، 7 من 13. ومع وجود من 2 إلى 13 علامة لكل دولة، تعامل مع صفوف الدول كأنماط.

كيف أجرينا الفحص

VOCTOS، 2 أكتوبر 2026. 50 علامة: الـ37 من فحصنا للصفحات الرئيسية لمواقع العلامات العربية في اليوم نفسه، إضافة إلى 13 علامة كبيرة في سبع دول عربية (اتصالات، بنوك، طيران، عقارات، إعلام). جلبنا /robots.txt و/llms.txt بأداة جلب آلية، وأعدنا محاولة الإجابة الفارغة مرة واحدة على نطاق www، ولم نحاول أبدًا تجاوز أي حجب. وصنّفنا كل ملف وفق قواعد المجموعات في RFC 9309 لـ15 رمزًا.

الحدود: robots.txt فقط، دون سجلات خادم أو إعدادات جدار حماية. تخفي الأداة رموز حالة HTTP، لذا قد تعني الإجابة الفارغة ملفًا مفقودًا أو خطأً أو حجبًا. وقد يرد الموقع على زاحف ذكاء اصطناعي حقيقي على نحو مختلف. والملفات الـ13 غير القابلة للقراءة خارج قاعدة الـ37.

أي زواحف الذكاء الاصطناعي تدرّب النماذج، وأيها تجلب الإجابات؟

يقسّم المزوّدون زواحفهم حسب المهمة. زواحف التدريب تجمع الصفحات للنماذج المستقبلية، وزواحف البحث تفهرس الصفحات ليستشهد بها المساعد، والجالبات بطلب المستخدم تفتح الصفحة حين يسأل عنها شخص. حجب زاحف التدريب يُبقيك خارج مجموعات البيانات. وحجب وكيل البحث أو المستخدم يُبقيك خارج الإجابات.

Meta وAmazon تقسّمان المهام الآن أيضًا. إذ تُدرج صفحة الزواحف لدى OpenAI Meta-WebIndexer للاستشهادات في إجابات Meta AI، وتضيف صفحة Amazonbot لدى Amazon Amzn-SearchBot وAmzn-User. ولا يذكر أي ملف في عينتنا أيًا من وكيلي البحث هذين.

صف الجلب بطلب المستخدم هو حيث تنتهي قدرة robots.txt. إذ تقول صفحة الزواحف لدى OpenAI إن قواعد robots.txt قد لا تنطبق على ChatGPT-User، وتقول وثائق زواحف Perplexity إن Perplexity-User يتجاهلها عمومًا لأن شخصًا طلب الصفحة. أما مقالة Anthropic عن الزواحف، المؤرخة في 7 أبريل 2026، فتقول إن زواحفها تحترم robots.txt وإن تعطيل Claude-User يوقف الجلب لاستعلامات المستخدمين.

تُدرج تلك المقالة ثلاثة وكلاء فقط. ومع ذلك تظهر الأسماء الأقدم anthropic-ai وClaude-Web في 6 و4 من 37 ملفًا. مطوّر عقاري إماراتي يحجب الاثنين ولا يذكر ClaudeBot أبدًا، فيقع زاحف التدريب لدى Anthropic تحت * ويُسمح له.

هل حجب OAI-SearchBot أو PerplexityBot خطأ؟

نعم، إذا كنت تريد الاستشهادات. تقول OpenAI إن المواقع التي تمنع OAI-SearchBot لا تظهر في إجابات بحث ChatGPT، وإن كان يمكن أن تظهر روابطَ تنقل. وتصف Perplexity الزاحف PerplexityBot بأنه زاحف البحث لديها وتقول إنه لا يجمع محتوى للنماذج الأساسية. ملفان من 37 يحجبان PerplexityBot؛ وواحد يحجب ChatGPT-User.

ثلاثة من الملفات الستة الحاجبة تخلط بين المهمتين:

• مطوّر عقاري إماراتي يحجب GPTBot وPerplexityBot لكنه لا يذكر OAI-SearchBot وClaudeBot. يستطيع بحث ChatGPT فهرسته، ولا تستطيع Perplexity، وتستطيع Anthropic التدريب عليه.
• صحيفة إماراتية تحجب ClaudeBot وGoogle-Extended وApplebot-Extended وAmazonbot، لكنها لا تذكر GPTBot وCCBot.
• شبكة إخبارية قطرية تحجب GPTBot وClaudeBot وPerplexityBot وChatGPT-User، بينما تبقى OAI-SearchBot وGoogle-Extended وCCBot غير مذكورة، تحت تعليق في الرأس يمنع استخدام محتواها في الذكاء الاصطناعي.

والسماح قد يسوء أيضًا. متجر إلكترونيات سعودي يمنح ثمانية وكلاء ذكاء اصطناعي، إضافة إلى Bingbot، مجموعة لا تحوي إلا Allow: /. ووفق RFC 9309 يطيع الزاحف المجموعة التي تذكره ولا يستخدم * إلا حين لا تذكره أي مجموعة، لذا تتخطى هذه الزواحف قواعد السلة والدفع والمعاملات. أما سوق إلكتروني مصري فيتجنب ذلك عمدًا، ويشرح تعليق في ملفه السبب.

قرّر حسب المهمة (تدريب، بحث، جلب بطلب المستخدم)، ثم طبّق القرار نفسه على كل مزوّد.

هل يؤثر Google-Extended في Google Search أو AI Overviews؟

لا. Google-Extended رمز تحكم لا يقف خلفه أي زاحف. يحدد ما إذا كان يجوز لـGoogle استخدام صفحاتك لتدريب نماذج Gemini المستقبلية وتأسيس الإجابات في تطبيقات Gemini وVertex AI. وتقول قائمة الزواحف الشائعة من Google إنه “لا يؤثر في إدراج الموقع في Google Search ولا يُستخدم كإشارة ترتيب في Google Search.”

AI Overviews وAI Mode من ميزات البحث. ويحدد دليل ميزات الذكاء الاصطناعي من Google قواعد Googlebot أداةَ التحكم هناك، إضافة إلى nosnippet وdata-nosnippet وmax-snippet وnoindex إذا أردت تقييد ما يظهر. حجب Google-Extended لا يمس AI Overviews؛ أما حجب Googlebot فيُخرجك من البحث تمامًا. في فحصنا، يحجب ملفان من 37 Google-Extended ويسمح به 5 صراحة.

وتعمل Apple بالطريقة نفسها. إذ تقول صفحة Applebot إن Applebot-Extended لا يزحف، وإن الصفحات التي تمنعه يمكن أن تظل تظهر في نتائج البحث، وإن nosnippet يُبقي المحتوى خارج الإجابات المولّدة بالذكاء الاصطناعي في Siri وSearch. وتشير Apple أيضًا إلى أنه إذا ذكر robots.txt الزاحف Googlebot دون Applebot، يتبع Applebot قواعد Googlebot.

هل يمكن لـCDN حجب زواحف الذكاء الاصطناعي التي يسمح بها robots.txt؟

نعم. robots.txt يعبّر عن تفضيل، وقاعدة جدار الحماية تقرر ما يمر. تقول وثائق Cloudflare إن حجب زاحف في AI Crawl Control ينشئ أو يحدّث قاعدة WAF مخصصة على النطاق، وهذه القاعدة ترد قبل أن يُستشار خادمك أو robots.txt. وخلف حجب على الحافة، لا يغيّر robots.txt المتساهل شيئًا.

أما managed robots.txt من Cloudflare فيعمل بالعكس: فهو يطلب من الزواحف الابتعاد فقط، ويضيف قواعد Cloudflare في بداية ملفك الحالي، فقد يختلف الملف الحي عن الموجود في مستودعك. ومنذ يوليو 2025، يُسأل كل نطاق جديد على Cloudflare عند التسجيل عما إذا كان يسمح لزواحف الذكاء الاصطناعي، وفق البيان الصحفي للشركة.

وتذكر Google الطبقتين أيضًا: إذ يطلب دليل ميزات الذكاء الاصطناعي من أصحاب المواقع التحقق من السماح بالزحف في robots.txt ومن أي CDN أو بنية استضافة. ويُظهر فحصانا في 2 أكتوبر كم مرة تختلف هاتان الطبقتان:

• في فحص الصفحات الرئيسية، قدّمت 8 من 37 صفحة تحديًا لكشف الروبوتات أو صفحة فارغة لجلسة Chrome عادية من القاهرة. وستة من هذه الثماني تقدّم robots.txt يسمح بالصفحة الرئيسية.
• ملف robots.txt لبنك أردني يسمح لكل وكلاء المستخدم، لكن /llms.txt لديه أعاد صفحة رفض وصول لأداة الجلب لدينا.
• أعاد ملف /llms.txt لشركة طيران سعودية التوجيه إلى تحدٍّ لكشف الروبوتات، وقدّم بنك مصري صفحة جدار حماية بدلًا من robots.txt.

أداة الجلب لدينا ليست GPTBot، وقواعد الحافة تزن وكيل المستخدم وIP والسلوك، لذا قد يحصل زاحف ذكاء اصطناعي موثّق على إجابة مختلفة. اقرأ وثائق Cloudflare عن التحكم في زواحف الذكاء الاصطناعي و ملف robots.txt المُدار ، واكتب قواعد سماح تطابق وكيل المستخدم ونطاق IP المنشور معًا، كما توصي Perplexity.

لمراجعة ثانية للطبقتين: افحصوا robots.txt وقواعد جدار الحماية لديّ لزواحف الذكاء الاصطناعي.

قالب robots.txt لثلاث سياسات للذكاء الاصطناعي

اختر سياسة واحدة لكل مهمة واكتبها لكل مزوّد. يطبّق القالب أدناه الخيار B، نعم للإجابات ولا للتدريب، وتوضح التعليقات كيفية التحول إلى A أو C. كل مجموعة ذكاء اصطناعي تكرر قواعد النظافة لديك، لأن الزاحف الذي يجد مجموعة تذكره يتجاهل * تمامًا.

# Policy A (open): delete both AI groups below.
#   Every AI agent then follows the * rules.
# Policy B (answers yes, training no): use the file as written.
# Policy C (closed): move the search and user agents
#   into the Disallow: / group at the bottom.

User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /*?*sort=

# Search and user-triggered agents: same hygiene rules as *
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Meta-WebIndexer
User-agent: Amzn-SearchBot
User-agent: Amzn-User
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /*?*sort=

# Training crawlers and training control tokens
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Amazonbot
# Bytespider has no vendor docs: enforce it at the firewall too
User-agent: Bytespider
Disallow: /

Sitemap: https://example.com/sitemap.xml

أيًا كان الخيار الذي تختاره، تنطبق ثلاث قواعد. لا تضع أسطر Allow أو Disallow فوق أول سطر User-agent، لأن المحللات تسقط القواعد اليتيمة. واستخدم الرموز الحالية لا anthropic-ai أو Claude-Web. وتذكّر أن ChatGPT-User وPerplexity-User يمكنهما تجاهل الملف، فالتوقف الصارم الوحيد لهما هو قاعدة جدار حماية.

توقّع تأخيرًا. إذ تقول مواصفات robots.txt من Google إنها تخزّن الملف مؤقتًا حتى 24 ساعة، وتذكر OpenAI وPerplexity وMeta وAmazon كل منها نحو يوم.

كيف تتحقق من زيارات زواحف الذكاء الاصطناعي في سجلات الخادم؟

طابق وكيل المستخدم، ثم أثبت عنوان IP. يستطيع أي شخص إرسال سلسلة وكيل مستخدم GPTBot، لذا لا يُحتسب سطر السجل إلا حين يقع IP المصدر داخل النطاق المنشور للمزوّد أو يجتاز فحص DNS العكسي ثم الأمامي. وتنشر OpenAI وAnthropic وPerplexity وGoogle وApple وCommon Crawl كلها قوائم IP أو أنماط DNS.

# 1. Which AI agents hit the site? (nginx or Apache combined log)
grep -Eio 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|CCBot|Applebot|Bytespider|meta-externalagent|Amazonbot' access.log \
  | sort | uniq -c | sort -rn

# 2. Which IPs claim to be OAI-SearchBot?
grep 'OAI-SearchBot' access.log | awk '{print $1}' | sort -u

# 3. Compare them with the vendor list
curl -s https://openai.com/searchbot.json

# 4. DNS check for crawlers that publish hostnames
host 18.97.14.84                         # expect *.crawl.commoncrawl.org
host 18-97-14-84.crawl.commoncrawl.org   # must return the same IP

القوائم: openai.com/gptbot.json وsearchbot.json وchatgpt-user.json؛ وclaude.com/crawling/bots.json؛ وperplexity.com/perplexitybot.json وperplexity-user.json؛ وcommon-crawlers.json من Google (أسماء مضيفات googlebot.com)؛ وapplebot.json من Apple (أسماء مضيفات applebot.apple.com)؛ وملف Common Crawl ccbot.json. لا يظهر Google-Extended وApplebot-Extended في السجلات أبدًا، لأنهما رمزان لا زاحفان.

تحذّر Anthropic من أن حجب عناوين IP الخاصة بها طريقة غير موثوقة للانسحاب، لأنها تمنع الزاحف من قراءة robots.txt. السجلات تُظهر الزحف لا الزيارات؛ وللإحالات، راجع كيف تتتبع زيارات المساعدات الذكية في GA4.

ووردبريس: من أين يأتي ملف robots.txt لديك؟

من PHP، ما لم يوجد ملف فعلي. يبني ووردبريس robots.txt افتراضيًا في do_robots() ويمرره عبر فلتر robots_txt. وتشير صفحات مساعدة Yoast إلى أن ملف robots.txt الحقيقي في جذر الويب يحل محل الافتراضي. وتحرّر Yoast وRank Math الملف من لوحة التحكم، بقواعد مختلفة بشأن الملفات الفعلية.

• في Yoast SEO، افتح Tools ثم File editor، كما تصف صفحة المساعدة . يختفي المحرر عند تعطيل تحرير الملفات. أما إعداد الروبوتات غير المرغوبة في Yoast فلا يحجب في الخطة المجانية إلا Google AdsBot؛ وتضيف Premium رمز Gemini وVertex AI من Google وGPTBot وCCBot.
• في Rank Math، فعّل Advanced Mode ثم افتح General Settings وEdit robots.txt. وتوصي دليل Polylang بحذف أي ملف robots.txt فعلي أولًا.
• في الشيفرة، يضيف فلتر robots_txt مجموعات دون تدخل أي إضافة SEO.

add_filter( 'robots_txt', function ( $output, $public ) {
    if ( '0' === (string) $public ) {
        return $output; // "Discourage search engines" is on
    }
    $output .= "\nUser-agent: GPTBot\nUser-agent: ClaudeBot\n";
    $output .= "User-agent: Google-Extended\nUser-agent: CCBot\nDisallow: /\n";
    return $output;
}, 10, 2 );

ثم افتح /robots.txt في نافذة خاصة. موقع إخباري مغربي في عينتنا يوضح السبب: أسطر Disallow لديه لـ/author/ و/wp-admin/ تقع فوق أول سطر User-agent، فتتجاهلها محللات RFC 9309 وتسمح كتلة Yoast لديه بكل شيء.

هل تحتاج إلى ملف llms.txt؟

ليس لـGoogle. يقول دليل ميزات الذكاء الاصطناعي لديها إنك لا تحتاج ملفات جديدة قابلة للقراءة آليًا أو ملفات نصية للذكاء الاصطناعي للظهور في AI Overviews أو AI Mode. أربع من 37 علامة في فحصنا تنشر واحدًا: بنك سعودي، ومطوّر إماراتي، وبوابة عقارية إماراتية، وبنك إماراتي. ملف llms.txt يصف الموقع؛ ولا يتحكم في شيء.

تتراوح الأربعة بين فهرس Markdown قصير وقائمة بحجم 85 كيلوبايت لصفحات عقارية. وكل منها خلف قواعد الحافة نفسها مثل أي رابط آخر، والزاحف الذي لا يستطيع جلب الملف لا يقرؤه أبدًا.

رأينا

في 68% من الملفات لم يتخذ أحد قرارًا بشأن الذكاء الاصطناعي؛ فتحصل الزواحف على ما تقوله *. ولمعظم العلامات العربية التي تبيع أو تولّد عملاء محتملين، نختار الخيار B: اسمح لوكلاء البحث والمستخدم، ثم اتخذ قرار التدريب مع مسؤولي الشؤون القانونية أو المحتوى. لا تحجب شيئًا بالخطأ، ولا تحجب زاحف بحث أبدًا لمنع التدريب.

التعرّض الأكبر في المراحل السابقة: 13 من 50 علامة لم تعطنا robots.txt قابلًا للقراءة، ورفضت الحافة متصفحًا حقيقيًا في 8 من 37 صفحة رئيسية. وصنّفت Similarweb موقع chatgpt.com ضمن أعلى سبعة مواقع في خمسة أسواق عربية في أغسطس 2026، وفق نظرتنا إلى استخدام المساعدات الذكية في الخليج. وزاحف البحث الذي لا يصل إليك يتركك خارج تلك الإجابات.

ما الذي تفحصه أولًا

السؤال المفيد ليس ما إذا كنت ستحجب زواحف الذكاء الاصطناعي، بل ما إذا كانت الزواحف التي تريدها تستطيع الوصول إليك، وما إذا كانت التي ترفضها مذكورة على نحو صحيح. افتح /robots.txt الحي لديك، ثم إعدادات الروبوتات في CDN، ثم أسبوعًا من أسطر السجلات الموثّقة.

إذا اتفقت robots.txt والحافة والسجلات على أن OAI-SearchBot وClaude-SearchBot وPerplexityBot تحصل على استجابات 200، فاكتب سياسة التدريب بالقالب وانتقل للخطوة التالية. وإذا اختلفت أي طبقة، فأصلح الحافة أولًا، لأن جدار الحماية يتغلب على كل سطر في الملف. وللمساعدة في جانب البحث، راجعوا كيف ترى محركات البحث بالذكاء الاصطناعي موقعي.

الأسئلة الشائعة

هل يُخرج حجب GPTBot موقعي من بحث ChatGPT؟

لا. GPTBot هو زاحف التدريب لدى OpenAI، بينما يعتمد بحث ChatGPT على OAI-SearchBot. تعامل OpenAI كلًّا من الإعدادين على حدة، فيمكنك منع GPTBot والسماح لـOAI-SearchBot. والمواقع التي تمنع OAI-SearchBot تُستبعد من إجابات بحث ChatGPT، مع أن OpenAI تقول إنها قد تظل تظهر روابطَ تنقل.

هل يضر حجب Google-Extended بترتيبي أو بـAI Overviews؟

لا. تقول Google إن Google-Extended لا يؤثر في الإدراج في Google Search وليس إشارة ترتيب. بل يتحكم فقط في تدريب Gemini والتأسيس في تطبيقات Gemini وVertex AI. أما AI Overviews وAI Mode فتتبع قواعد Googlebot وأدوات التحكم في المقتطفات مثل nosnippet، لذا فحجب Google-Extended يتركها كما هي.

robots.txt لديّ يسمح لزواحف الذكاء الاصطناعي، فلماذا لا تظهر في سجلاتي أبدًا؟

انظر إلى الحافة. يمكن لقاعدة في CDN أو جدار الحماية أن تحجب الزاحف أو تتحداه قبل أن يسجل خادمك أي شيء، أيًا كان ما يقوله robots.txt. في فحوصنا بتاريخ 2 أكتوبر، أظهرت 6 علامات عربية يسمح robots.txt لديها بالصفحة الرئيسية تحديًا لكشف الروبوتات أو صفحة فارغة لجلسة Chrome عادية على سطح المكتب. افحص إعدادات الروبوتات في CDN أولًا.

هل يمكن لـrobots.txt منع ChatGPT أو Perplexity من فتح صفحة يسأل عنها مستخدم؟

ليس على نحو موثوق. تقول OpenAI إن قواعد robots.txt قد لا تنطبق على ChatGPT-User، وتقول Perplexity إن Perplexity-User يتجاهلها عمومًا، لأن شخصًا طلب الجلب. وتقول Anthropic إن تعطيل Claude-User يوقف الجلب فعلًا. ولرفض الجلب بطلب المستخدم من الثلاثة، تحتاج قاعدة جدار حماية مطابقة لعناوين IP المنشورة لكل مزوّد.

هل ينبغي لبنك أو متجر عربي حجب زواحف الذكاء الاصطناعي؟

احجب التدريب إذا قرر ذلك مسؤولو الشؤون القانونية أو المحتوى، واذكر رمز التدريب لكل مزوّد. وأبقِ وكلاء البحث والمستخدم مفتوحين إذا أردت الظهور في إجابات ChatGPT وClaude وPerplexity. في فحصنا، حجبت 6 من 37 علامة عربية أي زاحف ذكاء اصطناعي، ونصفها خلط بين زواحف التدريب والبحث.