عن زاحف VeloCMS لتدقيق المواقع

من نحن

VeloCMS منصة للمدونات والمواقع الإلكترونية. تتيح أداتنا المجانية لتدقيق المواقع لأي شخص إرسال عنوان URL للحصول على تقرير عن تحسين محركات البحث التقني، والأداء، والتعرّف على المنصة، وجاهزية الترحيل. عندما يرسل أحدهم عنوان موقعك، نقوم بجلبه — وفي حال الفحص الأعمق، عدداً محدوداً من الصفحات الإضافية التي نكتشفها من خريطة موقعك (sitemap) والروابط الداخلية.

كيفية التعرّف على طلباتنا

يحمل كل طلب نرسله سلسلة User-Agent التالية بالضبط:

يشير العنوان الموجود في هذه السلسلة دائماً إلى هذه الصفحة.

ما الذي نجلبه، وكيف

يقوم الفحص أحادي الصفحة بجلب عنوان URL واحد فقط أرسله الزائر — دون تسجيل دخول ودون زحف.

يتيح الفحص الأعمق، المتاح بعد أن يتحقق مالك الموقع من ملكيته، جلب صفحات إضافية نكتشفها من توجيهات خريطة الموقع في ملف robots.txt والروابط الموجودة في الصفحات التي جلبناها بالفعل، حتى عمق ثلاث روابط من الصفحة المُرسَلة.

• حدود كل صفحة — مهلة 10 ثوانٍ، حد أقصى 5 ميغابايت للاستجابة، حد أقصى 3 عمليات إعادة توجيه، ومنفذا 80 و443 القياسيان فقط.
• وتيرة الطلبات — 4 طلبات متزامنة كحد أقصى، مع فاصل زمني 400 ميلي ثانية بين الطلبات الموجهة إلى المضيف نفسه (نحو 2.5 طلب في الثانية إلى خادمك).
• النطاق — يقرأ الفحص أحادي الصفحة حتى 100 صفحة خلال نحو دقيقتين؛ ويقرأ الفحص الأعمق الموثّق حتى 250 صفحة خلال نحو 7 دقائق.
• التكرار — نفحص أي اسم مضيف مرة واحدة على الأكثر كل 24 ساعة.
• الاحتفاظ بالبيانات — لا نخزّن أبداً كود HTML الذي نجلبه؛ يبقى فقط مجموعة صغيرة من الإشارات المستخلصة (عدد الكلمات، والعناوين، والروابط، وما شابه) بعد انتهاء الطلب.
• السلامة — يُفحص كل طلب، بما في ذلك عمليات إعادة التوجيه، للتأكد من أننا لا نجلب أبداً عنوان شبكة خاصة أو داخلية.

الامتثال لملف robots.txt

بخلاف الصفحة الواحدة التي يرسلها الزائر، تُفحص كل صفحة إضافية نكتشفها مقابل ملف robots.txt في موقعك قبل جلبها. نبحث عن مجموعة موجَّهة إلى معرّفنا، VeloCMS-SiteAudit، ونعود إلى المجموعة العامة (*) إذا لم يخصّنا موقعك باسمنا تحديداً. أي صفحة يمنعها ملف robots.txt لدينا تُكتشف ولا تُجلب أبداً.

كيفية إيقافنا

أضف ما يلي إلى ملف robots.txt لديك لحظر كل صفحة عدا الصفحة التي يرسلها الزائر صراحةً:

User-agent: VeloCMS-SiteAudit
Disallow: /

هذا يمنعنا من اتّباع خريطة موقعك أو روابطك الداخلية لاكتشاف المزيد من موقعك. لكنه لا يمنع طلباً صريحاً واحداً — إذا أرسل أحدهم صفحة معيّنة من موقعك، فسنجلب تلك الصفحة فقط، تماماً كما يفعل شخص يزورها عبر متصفح. لا نوفّر حالياً آلية إيقاف منفصلة، مثل وسم meta.

التواصل

لديك أسئلة، أو تعتقد أننا نتصرف بشكل غير لائق تجاه موقعك؟ راسلنا على: [email protected]