مولّد وفاحص robots.txt

تستعمل المطابقة قواعد جوجل الثلاث وحدها. فـ* تنوب عن أي سلسلة حروف، و$ ترسو بالنمط عند نهاية الرابط، وما عدا ذلك بادئة حرفيّة. والأسبقيّة بطول النمط لا بموضعه في الملفّ، فتفوز القاعدة الأخصّ حيثما كُتبت، والتعادل يذهب إلى Allow.

ونصف التوليد هو النصف السهل. فملفّ robots.txt لا يُقرأ للتحقّق من صحّته: القاعدة التي لا تطابق شيئًا تبدو تمامًا كالقاعدة التي لا شيء لها لتطابقه. كلتاهما سطر نصّ بلا أثر، وواحدة منهما فقط عطل.

وهذا الموقع نشر ذلك العطل. بقي Disallow: /*/index.txt$ في الإنتاج أسابيع. يُحلَّل، ويجتاز التحقّق، ولم يمنع شيئًا إطلاقًا — فـ$ ترسو عند نهاية الرابط، والحمولات كانت تُطلب ببصمة بناء ملحقة، فلم ينتهِ /contact/index.txt?_rsc=gzsk8 بـ.txtقطّ. وذهب خمسة وثلاثون بالمئة من ميزانية زحف أسبوع إلى صفحات ما كان ينبغي جلبها. ولم يبلّغ شيء عن ذلك، لأنه لم يكن ثمّة ما يُبلَّغ عنه.

ففاحص بسلسلة الاستعلام لا بدونها. فتلك هي الهيئة التي تفوت المرساة، وهي الهيئة التي يطلبها الزاحفون فعلًا.

وجدول الفحص يسمّي القاعدة الحاسمة، لا الحكم وحده. فحين تطابق أربع قواعد رابطًا واحدًا، تكون معرفة أنه ممنوع نصف الجواب؛ ومعرفة أي سطر منعه هي الجواب كلّه. وفي العيّنة Allow ينتشل فرعًا من Disallow أوسع، وهي الحالة التي تكفّ فيها الأسبقيّة عن كونها بديهيّة.

وافحص ما يجب أن يبقى متاحًا. فأشيع ضرر يأتي من robots.txt ليس صفحةً تُركت قابلة للزحف — بل /_next/ أو /assets/ أو /static/ ممنوعةً جملةً، فتُخفى CSS وجافاسكربت التي تعرض جوجل الصفحة بها. والنتيجة موقع يسجّل نتيجة سيّئة لأسباب لا يراها أحد في HTML.

والمنع ليس إزالة. فالرابط الممنوع هنا قد يظهر في البحث، بلا وصف تحته، لأن جوجل رأته مرتبطًا من مكان آخر وقيل لها ألّا تنظر. ولإبقاء صفحة خارج الفهرس، اسمح بزحفها وأعطها وسم noindex — والتعليمتان يستبعد بعضهما بعضًا، والمنع يفوز بمنعه الوسم من أن يُقرأ أصلًا.

وحين يستقيم الملفّ، وجّهه إلى خريطة موقع مبنيّة بـمولّد خريطة الموقع.