هل يُسمح لزواحف ChatGPT وPerplexity بقراءة صفحتك؟
إن أقصى ملفُ robots.txt أو جدارُ حماية زاحفَ OpenAI، فلا يعد المحتوى مهماً. وهذه الحجوب غالباً غير مقصودة ولا يعرفها أحد في المنشأة.
ما يفعله هذا المجال
البحث والتدريب منفصلان
لكلٍّ منهما قواعد مستقلّة، والنتائج متعاكسة. فحجب GPTBot يمنع الزحف للتدريب — وهذا لا يكلّف ظهوراً. وحجب OAI-SearchBot يُخرج محتواك من إجابات بحث ChatGPT. والفحص الذي يخلط الاثنين يعطي النصيحة الخطأ.
محلّل robots.txt خاص بقاعدة «أطول تطابق يفوز»
هكذا تقيّم الزواحف نفسها بالضبط. أما الفحص الساذج الذي يأخذ أول سطر مطابق فيبلّغ عن أذونات غير سارية — وعن حجوب غير قائمة.
الحجوب التي لا تعمل تُسمّى كذلك
بعض الزواحف لا تحترم robots.txt. فإن وُجد حجبٌ ضدّها هناك، فهو بلا أثر. والإبلاغ عنه كفعّال معلومة خاطئة — بل تقول الواجهة إن السطر موجود ولا يفعل شيئاً.
النتيجة تأتي مع الأسطر اللازمة للإصلاح
حيث يكون زاحف بحث محجوباً، تظهر إلى جانبه الأسطر التي تُضاف إلى ملف robots.txt، قابلةً للنسخ، مع مسار الملف. وبشأن زواحف التدريب لا يُقترح شيء: فالحجب هناك لا يكلّف ظهوراً، ورفعه بلا سؤال تدخّلٌ في قرارك.
كيف تتبيّن ذلك
- ✓المفحوص هو ما يسمح به ملف robots.txt لكل سطح على حدة — موثَّقاً لا مقدَّراً.
- ✓لكل زاحف يُذكر المشغّل والغرض (بحث أو تدريب) وهل يحترم robots.txt.
- ✓الفحص يقرأ ملف robots.txt الخاص بك فقط. ولا يكلّف شيئاً ويمكن تشغيله كما تشاء.
- ✓«لم يُفحص قط» يظهر كحالة مستقلّة. وهذا لا يعني أن شيئاً محجوب — بل يعني أن أحداً لم ينظر.
- ✓وإلى جانب القاعدة يُقيَّم أي الزواحف زارت صفحاتك فعلاً.
حيث يتوقّف
- ×الإذن في robots.txt لا يضمن اقتباساً. فهو الشرط، لا النتيجة.
- ×قد يمنع جدارُ حماية أو حمايةٌ من الروبوتات أو حجبُ وصولٍ الجلبَ رغم أن robots.txt يسمح به.
- ×الفحص لا يعدّل ملفك. بل يذكر الأسطر؛ وإدراجها لك أو لوكالتك.
- ×الزواحف التي تتجاهل الملف لا تُقصى بهذه الطريقة — فذلك يحتاج مستوى الخادم.
أسئلة متكرّرة
أحجب GPTBot أم أسمح له؟
هذا قرارك، ولا يكلّف ظهوراً. فـ GPTBot يزحف لتدريب النماذج، لا لإجابات البحث. ومن لا يريد أن تدخل نصوصه في نموذج يحجبه — ويبقى ظاهراً في إجابات بحث ChatGPT ما دام OAI-SearchBot مسموحاً. والقاعدتان مستقلّتان.
لماذا لا تظهر صفحتي في ChatGPT مع أن robots.txt يسمح بكل شيء؟
لأن robots.txt عقبة واحدة من عقبات عدّة. ومن الأسباب الشائعة الأخرى: حماية من الروبوتات أو جدار حماية يمنع الجلب، أو صفحة لا تُسلّم نصّها إلا عبر JavaScript، أو محتوى لا يصلح مصدراً لأنه لا يقول شيئاً لا يقوله سواك. فالوصول يُفحص، والاقتباس يُقاس منفصلاً عنه.
كم مرة ينبغي فحص الوصول؟
باستمرار. فملف robots.txt يتغيّر عندما يحدّث أحدهم إضافة، أو تُضاف حماية من الروبوتات، أو يُضيف مزوّد خدمة سطراً. ولهذا بالضبط الفحص مجاني وقابل للتكرار — فالنتيجة لمرة واحدة تتقادم مع أول تعديل.