ما هي قابلية الزحف (Crawlability)؟
قابلية الزحف هي قدرة محركات البحث، مثل “Googlebot”، على الوصول إلى صفحات وموارد موقع الويب، إذا كانت هناك مشاكل في قابلية الزحف، فقد يؤثر ذلك سلبًا على ترتيب الموقع في نتائج البحث العضوية.
من المهم التمييز بين قابلية الزحف وقابلية الفهرسة (Indexability). قابلية الفهرسة تشير إلى قدرة محرك البحث على تحليل صفحة ما وإضافتها إلى فهرسه، فقط الصفحات التي يمكن زحفها وفهرستها يمكن اكتشافها وإضافتها إلى فهرس جوجل، مما يعني أنها يمكن أن تظهر في نتائج محركات البحث.
لماذا تعتبر”القدرة على الزحف” (Crawlability) مهمة؟
القدرة على الزحف ضرورية لأي موقع إلكتروني يهدف إلى جذب زيارات من محركات البحث بشكل طبيعي (عضوي)، وهذه القدرة تسمح لمحركات البحث بزيارة صفحات الموقع وقراءة محتواها وتحليله، حتى يتم إضافتها إلى فهرس البحث.
بدون القدرة على الزحف، لا يمكن فهرسة الصفحة بشكل صحيح، نستخدم كلمة “بشكل صحيح” لأنه في حالات نادرة، يمكن أن يقوم Google بفهرسة رابط ما دون زحف إليه، اعتمادًا على نص الرابط والنص المرتبط به من الروابط الخلفية، لكن في هذه الحالة لن يظهر عنوان الصفحة أو وصفها في نتائج البحث.
القدرة على الزحف ليست مهمة فقط لجوجل، بل هناك برامج زحف أخرى تحتاج إلى زيارة صفحات الموقع لأسباب مختلفة.
ما الذي يؤثر على قابلية الزحف إلى موقع الويب؟
1. إمكانية اكتشاف الصفحة
قبل أن يتمكن محرك البحث من زحف صفحة ما، يجب أولاً أن يكتشفها، فالصفحات التي لا تكون موجودة في خريطة الموقع (sitemap) أو تفتقد إلى روابط داخلية (تُعرف بالصفحات اليتيمة) لا يمكن لمحرك البحث العثور عليها، وبالتالي لا يمكن زحفها أو فهرستها.
إذا كنت تريد أن يتم فهرسة صفحة معينة، يجب أن تكون مدرجة في خريطة الموقع وأن تحتوي على روابط داخلية (ويفضل أن يكون الاثنان معًا).
2. روابط “nofollow”
محرك البحث “Googlebot” لا يتبع الروابط التي تحتوي على خاصية “rel=nofollow”، لذلك، إذا كانت الصفحة تحتوي على رابط واحد فقط من نوع “nofollow”، فهذا يعادل عدم وجود أي روابط من حيث عملية الزحف.
3. ملف robots.txt
ملف robots.txt هو ملف يخبر برامج الزحف (محركات البحث) عن الأجزاء المسموح لها بزيارتها في موقعك، والأجزاء الممنوعة، إذا كنت تريد أن يتم فحص صفحة معينة من قبل محركات البحث، يجب ألا تكون هذه الصفحة ممنوعة في ملف robots.txt.
4. قيود الوصول
قد تحتوي بعض صفحات الويب على قيود تمنع برامج الزحف من الوصول إليها.
من هذه القيود:
- وجود نظام تسجيل دخول (مثل كلمة مرور).
- منع وصول برامج زحف معينة (User-agent blacklisting).
- منع وصول عناوين IP محددة (IP address blacklisting).
كيفية اكتشاف مشكلات الزحف (Crawlability) على موقعك الإلكتروني
أسهل طريقة لاكتشاف مشكلات الزحف على موقعك هي استخدام أدوات تحسين محركات البحث (SEO) المتخصصة، مثل أداة Ahrefs Site Audit أو أداة Ahrefs Webmaster Tools المجانية.
تستطيع أداة Ahrefs Webmaster Tools الزحف إلى موقعك بالكامل، وتتبع المشكلات الجديدة أو المتكررة بمرور الوقت، بالإضافة إلى ذلك، تقوم بتصنيف المشكلات إلى فئات مختلفة، مما يساعدك على فهم أداء موقعك بشكل عام في مجال SEO، ومعرفة الأسباب التي تمنع محركات البحث من الزحف إلى موقعك.