كيف تعمل محركات البحث على ترتيب نتائج البحث؟ يعتبر هذا السؤال من أهم الأسئلة التي تهم كل مُسوق فإن عملية محركات البحث تعتمد على العديد من البرامج والأوامر التي تؤثر في عملية البحث وأسهل من أداء محركات البحث والتي سنتناولها بتفصيل أكثر في هذا المقال.
كيف تعمل محركات البحث؟
هناك ثلاث وظائف أساسية خاصة بمحركات البحث وهي:
1- الزحف Crawl
البحث عبر الإنترنت عن المحتوى وعن أكواد كل محتوى لكل عنوان URL يجدونه.
2- الفهرسة Index
هو تخزين وتنظيم خاص بالمحتوى الذي يظهر أثناء البحث أو الزحف وبمجرد ظهور صفحة الفهرسة يتم عرضها لكافة أنواع المحتوى الذي تم الزحف عليه.
3- الترتيب Rank
عرض مقتطفات وأجزاء من المحتوى الذي تم البحث عنه مع ترتيبه من حسب المحتوى الأفضل أي أن نتائج البحث يتم ترتيبها من حيث الأقوى صلة ثم الأقل صلة بالمحتوى.
ما هو زحف محرك البحث؟
الزحف هي عملية إرسال محركات البحث فريق من الروبوتات للقيام بعملية الاكتشاف من أجل إيجاد محتوى جديد ومحدث.
قد يكون هذا المحتوى على هيئة صورة أو فيديو أو PDF.
يتم الوصول لهذا المحتوى من خلال برامج تعرف باسم (برامج الزحف أو العناكب).
كما أن اكتشاف المحتوى يتم عن طريق الروابط.
- تبدأ عملية الزحف بقيام Googlebot بإيجاد صفحات الويب والوصول إليها ثم يتتبع الروابط المتاحة داخل صفحات الويب للح ثم ول على عناوين URL جديدة.
- بعد الحصول على عنوان URl بعد التنقل في عدة صفحات ويب يستطيع الزاحف العثور على محتوى جديد واضافته إلى فهرس مخصص لذلك يسمى( Caffeine ) وهو عبارة عن قاعدة معلومات وبيانات تضم عدد ضخم وهائل من عناوين URls التي تم إيجادها وفهرستها وليام الاستعانة بها واستعادتها فيما بعد في نتائج محركات البحث عند قيام أحد الأشخاص بالبحث عن معلومات تتوافق تتناسب بقدر كبير مع المحتوى الموجود في عناوين URL.
ما هو فهرس محرك البحث؟
هي عملية تخزين وحفظ كافة المعلومات في فهرس يضم قاعدة بيانات ضخمة تحتوي على كل المحتويات التي تم اكتشافها أثناء عملية الزحف والتي تكفي بقدر جيد لخدمة الباحثين عبر محركات البحث.
ترتيب نتائج محرك البحث
هي عملية ترتيب جميع المحتويات التي تم فهرستها في محركات البحث ويتم الاستفادة منها والرجوع إليها عندما يقوم شخص ما بعملية بحث عن محتوى ذو صلة بدرجة عالية بالمحتويات التي تم تخزينها حتى يجد المستخدم ما يبحث عنه.
وهنا يتم الترتيب نتائج محركات البحث حسب.
- الترتيب حسب صلة المحتوى في نتائج البحث يعرف ب Ranking وكلما تصدر موقع ويب أعلى نتائج في البحث كلما كان هذا الموقع الأكثر صلة بعبارة البحث المستخدمة. وفقا لاعتقاد خوارزميات محرك البحث.
- يمكن حظر برامج زحف محركات البحث في جزء معين من موقعك او الموقع بأكمله كما يمكن منع محركات البحث من تخزين بعض صفحات موقعك في فهرسها.
- يجب عليك التأكد من وصول محتوى موقعك لكل الباحثين عبر محركات البحث وذلك بعد التأكد أولا من إمكانية الوصول آلية من خلال برامج الزحف وأنه قابل للفهرسة فما فائدة انك تقدم محتوى جيد ولكن غير مرئي ولا يصل للمستخدم والباحثين.
في السيو، ليست كل محركات البحث متساوية
بالرغم من وجود أكثر من 30 محرك بحث رئيسي على شبكة الإنترنت إلا أن متخصصين السيو SEO لا يهتمون إلا بجوجل Google لماذا؟
الإجابة باختصار أن جوجل Google هو المكان الذي تبحث فيه أغلبية الناس على الويب أي
( الغالبية العظمى يستخدم بحث جوجل) هذا إذا أضفنا إلى ذلك صور Google،وخرائطه، وYouTube فإن أكثر من 90% من عمليات البحث التي تتم على الويب تحدث على جوجل Google أكثر 20 مرة مقارنة بمحرك البحث Bing،و Yahoo.
الزحف: هل يمكن لمحركات البحث العثور على موقعك؟
كما تعلمنا أنه شرط أساسي للظهور في نتائج البحث SERPs ضرورة التأكد من الزحف إلى موقعك وفهرسته.
في حالة كنت تملك موقع ويب بالفعل فلا بد من أن تبدأ في معرفة عدد صفحاتك الموجودة في الفهرس حيث يساعدك ذلك في الحصول على بعض من الأفكار الهامة حول ما إذا كان Google يقوم بالزحف والبحث عن كل الصفحات المهمة في موقعك والتي تريد أن تتضمنها نتائج البحث.
إحدى طرق التحقق من صفحاتك المفهرسة هي
“site:yourdomain.com”، وهو يعتبر مشغل بحث حديث ومتقدم Search Operator.
- توجه إلى Google واكتب “site:yourdomain.com” في شريط البحث وقم باستبدال yourdomain.com برابط موقعك. سيقوم هذا الأمر بعرض الروابط التي تم فهرستها على محرك بحث Google.
- ستجد أن عدد الصفحات التي تم فهرستها على Google هو 61,700 صفحة وإذا نظرت لهذا الرقم ستجد أن هذا الرقم ليس بالتحديد ولكنه يمنحك نظرة و فكرة تقريبية عن عدد الصفحات التي تم فهرستها من موقعك وكيف يتم عرضها حاليًا في نتائج البحث.
- لكي تحصل على نتائج أكثر مطابقة ودقة يجب أن تراقب وتستخدم تقرير تغطية الفهرس في Google Search Console.
- وإذا لم يكن لديك حساب حالياً؛ يمكنك الاشتراك للحصول على حساب مجاني على Google Search Console يمكنك من خلال هذه الأداة إرسال ملفات Sitemap إلى موقعك لتتمكن من مراقبة ومتابعة عدد الصفحات المرسلة التي تمت إضافتها بالفعل إلى فهرس Google والعديد من الأمور الأخرى.
إذا كان موقعك لا يظهر في نتائج البحث، فهناك بعض الأسباب المحتملة لما يلي:
- قد يكون موقعك جديد ولم يتم الزحف إليه بعد.
- قد يكون السبب أن موقعك جديد ولم يصل إليه أي روابط خلفية باك لينك من اي مواقع اخري.
- بسبب أن موقعك جديد وهذا يجعل التنقل في موقعك من الصعب على الروبوت الزحف إليه بفعالية.
- قد يحتوي موقعك على عدد الأكواد البرمجية الأساسية التي قد تحظر عمل عناكب محركات البحث من الدخول إليه وفهرسته.
- تمت معاقبة موقعك من قِبل Google بسبب عمل روابط خلفية كثيرة على مواقع أخرى اسبام “Spam”.
أخبر محركات البحث عن كيفية الزحف إلى موقعك
في حالة انك استخدمت Google Search Console أو “site:domain.com” advanced search operator
واكتشفت بعدها أن بعض صفحاتك الهامة غير موجود او مفقودة من الفهرس أو حدثت فهرسة لبعض صفحاتك غير الهامة فتوجد بعض التحسينات التي يمكن اتباعها وتنفيذها من أجل توجيه Googlebot بشكل أفضل في تحديد كيف ترغب في الزحف إلى محتوى موقع الويب الخاص بك لأن منحك واخبارك محركات البحث عن شكل الزحف الذي ترغبه لموقعك يجعلك تسيطر بطريقة أفضل على ما يعرض في فهرس جوجل عن موقعك.
وإذا أردت توجيه Googlebot في اتجاه بعيدا عن صفحات وأجزاء معينة من موقعك فعليك باستخدام robots.txt
ملف robots.txt
توجد ملفات Robots.txt في الدليل الجذري لمواقع الويب (على سبيل المثال، yourdomain.com/robots.txt) وتشير و تزود محركات البحث بالأقسام التي يجب الزحف إليها والتي لا يجب الزحف إليها في موقعك وكذلك تحديد حجم سرعة زحف محركات البحث إلى موقعك.
كيف يتعامل Googlebot مع ملفات robots.txt
- إذا لم يستطع Googlebot أن يعثر على ملف robots.txt فيتوجه بالزحف إلى الموقع مباشرة.
- أما إذا استطاع العثورGooglebot على ملف robots.txt لأحد المواقع فسوف يلتزم بالاقتراحات التي يجدها مع الاستمرار فى الزحف إلى الموقع.
- إذا وجد برنامج Googlebot خطأً أثناء محاولة الوصول إلى ملف robots.txt لموقع ما ولم يتمكن من تحديد ما إذا كان أحد موجودًا أم لا، فلن يكمل الزحف إلى الموقع.
تكلفة الزحف Crawl Budget
- يتم تحديد تكلفة الزحف من خلال أخذ متوسط عناوين URL التي يقوم برنامج Googlebot بالزحف إليها على موقعك قبل أن يغادره وهنا تضمن ميزانية تحسين الزحف عدم تضييع أي وقت في الزحف عبر صفحاتك الغير هامة من قبل برنامج Googlebot والزحف فقط إلى صفحاتك الهامة.
- تزداد أهمية ميزانية الزحف في المواقع الكبيرة جدا التي يوجد بها عشرات الآلاف من عناوين الروابط URL.
- ليس من المفيد منع الزواحف من الوصول إلى المحتوى الذي لا يهمك، فقط تأكد عدم وجود حظر من وصول الزاحف إلى الصفحات التي توجد بها توجيهات برامج الزحف وذلك من خلال إضافة canonical او noindex tags وفي حالة تم حظر Googlebot من بعض الصفحات التي يوجد بها الإرشادات الموجه لمقابلة برامج الزحف لن تستطيع تلك البرامج الموجه من قراءة تلك الإرشادات في هذه الصفحات.
- كل روبوتات الويب لا تتبع ملف robots.txt. حيث يقوم بعض الأشخاص ذوي النوايا السيئة بإنشاء بعض برامج الروبوت التي لا تتبع هذا البروتوكول.
- كما يقوم بعض الهاكرز باقتحام المواقع باستخدام ملفات robots.txt من أجل الوصول إلى المكان الذي به المحتويات الهامة في موقعك التي يمكن سرقتها.
من المنطقي حظر برامج الزحف من الصفحات الخاصة على سبيل المثال: صفحات تسجيل الدخول، والإدارة admin لأن وضع عناوين URL لهذه الصفحات الهامة في ملف robot txt يساعد عناكب البحث من الوصول إليه بشكل عام كما أن هؤلاء الأشخاص أصحاب النوايا السيئة يمكنهم العثور بسهولة على هذه الصفحات ولهذا السبب من الأفضل والأمن وضع علامة NoIndex على هذه الصفحات واخفائها خلف النموذج الخاص بتسجيل الدخول بعد لا من أن يتم وضعها في ملف robots.txt الخاص بموقعك.
تحديد معلمات URL في GSC
- بعض المواقع تتيح وتوفر نفس المحتوى ولكن على عدة عناوين URL مختلفة (الأكثر شيوعًا في مواقع التجارة الإلكترونية) وذلك من خلال إلحاق معلمات معينة parameters بعناوين URL.
- في حال كنت تتسوق على الإنترنت فعلى سبيل المثال قمت بالبحث عن” حذاء رياضي ” وهنا يمكنك تضييق نطاق البحث عن الأحذية الرياضية داخل المتاجر عبر الفلاتر على سبيل المثال :يمكنك البحث عن” الحذاء الرياضي “على Amazon ثم تقوم بتحديد البحث حسب اللون والنقاش وفي كل مرة تقوم فيها بتحديد طلبك يتغير عنوان URL قليلاً.
كيف تعرف Google أي نسخة من عنوان URL تخدم الباحثين؟
- يؤدي Google عمل رائع في معرفة URL التمثيلي representative URL) وبالرغم من ذلك يمكنك استخدام ميزة معلمات URL في Google Search Console وذلك لإخبار Google بالطريقة التي ترغب أن تتعامل بها مع صفحاتك.
- أما إذا كنت تستخدم ميزة معلمات URL من أجل اخبار Googlebot بعدم الزحف إلى عناوين URL فأنت بهذه الطريقة تطلب بشكل أساسي إخفاء هذا المحتوى من Googlebot مما قد ينتج عنه إزالة هذه الصفحات من نتائج البحث هذا في حالة أنك أنشأت صفحات مكررة ولكن ميزة المعلمات ليست مثالية إذا كنت تريد فهرسة تلك الصفحات.
والآن دعنا نتعرف على التحسينات التي يمكن أن تساعد Googlebot في العثور على صفحاتك الهامة.
هل تستطيع برامج الزحف العثور على جميع الصفحات المهمة على موقعك؟
أحيانا تكون محركات البحث قادرة على العثور على أقسام من موقعك من خلال الزحف وقد يحدث حجب لبعض الصفحات والأجزاء لسبب ما ولكن من الهام أن تتأكد من أن محرك البحث قادر على اكتشاف كل المحتوى الذي ترغب في فهرسته وليس فقط الصفحة الرئيسية.
هل المحتوى الخاص بك مخفي وراء نماذج تسجيل الدخول؟
إذا قمت بالطلب من المستخدمين تسجيل بيانات الدخول، أو ملء استمارة خاصة بموقعك ،أو الرد على بعض استطلاعات الرأي وذلك قبل الوصول إلى محتوى معين،هنا لن ترى محركات البحث هذه الصفحات المؤمنة والمحمية ومن المؤكد أن يقوم الزاحف بعمل تسجيل الدخول
هل تعتمد على نموذج البحث؟
لا تستطيع الروبوتات أن تستخدم نماذج البحث فقد يعتقد البعض أنهم بمجرد وضع مربع بحث على موقعهم سيتمكن محرك البحث من العثور على أي شئ يبحث عنه الزوار.
هل النص مخفي داخل محتوى غير نصي؟
إذا أردت عرض نص تريد فهرسته فلا يجب أن تستخدم نماذج الوسائط الغير نصية مثل (الصور،الفيديو،صور GIF ) ولكن الأفضل دائما أن تضيف النص داخل علامة<HTML> لصفحة الويب الخاصة بك.
هل يمكن لمحركات البحث متابعة التنقل في موقعك؟
مثلما يحتاج الزاحف أن يكتشف موقعك من خلال روابط من مواقع أخرى فإنه يحتاج أيضاً إلى اتجاه مسار من الروابط على موقعك من أجل توجيهه من صفحة لأخرى “وهنا نتحدث بشأن ضرورة ربط مقالات موقعك الداخلية ببعضها البعض “.
إذا كنت تملك صفحة على موقعك وترغب أن تصل إليها محركات البحث ولكنها لا ترتبط بأي من الصفحات الأخرى داخل موقعك فهي جيدة بالقدر الذي يجعلها مرئية
كما توجد بعض المواقع التي تقع في خطأ كبير عند القيام بعملية التنقل بالطرق التي يصعب ويتعذر على محركات البحث أن تصل إليها مما يعيق من قدرتها في الظهور في نتائج البحث.
أخطاء التنقل الشائعة التي يمكن أن تمنع برامج الزحف من رؤية موقعك بالكامل
إن استخدام أي نوع من التنقل يعتمد ويستخدم أكواد مثل JavaScript بديلا عن HTML ليست العملية المثالية ومن أجل ضمان العثور على أي شئ وفهمه وفهرسته من خلال Google عليك وضعه داخل اكواد HTML.
وقد ترى التخصيص Personalization أو ظهور التنقل لنوع معين من الزوار الذين موقعك يبدو وكأنه يخفي ويتستر على زحف محرك البحث.
ولا تنسى أن الروابط هي الاتجاهات التي تتبعها برامج الزحف للوصول إلى الصفحات الجديدة، لذلك فمن الضروري أن يحتوي موقعك الويب على أساس قوي من مجلدات URL مفيدة ومناسبة للتنقل.
هل لديك بنية معلومات information architecture منظمة؟
- بنية المعلومات هي أمر هام من شأنه تنظيم وتسمية المحتوى على موقع ويب يعمل على تحسين إمكانية الوصول لرابط محتوي موقعك للمستخدمين.
- كما أن بنية المعلومات هي شيء أساسي وضروري أن يوجد داخل الموقع لأنه لا يفضل أن يفكر المستخدم طويلا حتى ينتقل عبر موقع الويب الخاص بك من أجل العثور على شيء ما.
هل تستخدم ملفات Sitemap؟
- خريطة الموقع هي كل ما يحتوي موقعك ويشكل صورته الكاملة وتشمل قائمة عناوين URL على موقعك والتي تستخدمها في برنامج الزحف من أجل اكتشاف محتواك الخاص بموقعك وفهرسته وذلك بعد التأكد من إعطاء برامج الزحف اتجاهات ثابتة من URL.
- من أسهل الطرق التي تضمن بها قيام Google بالعثور صفحات موقعك الهامة هي أن تقوم بإنشاء ملف يشمل معايير Google وترسله عبر وحدة تحكم بحث Google كما أن أن برامج الزحف تساعد بالتأكيد على الوصول إلى جميع صفحات موقعك المهمة عن طريق sitemap.
- إذا وجدت أن موقعك الخاص بك لا يحصل على أي روابط خلفية Backlink فلا يزال بإمكانك أن تحاول عن كل أرشفة لموقعك من خلال إرسال خريطة الموقع XML إلى Google Search Console.
هل تحصل برامج الزحف على أخطاء عند محاولة الوصول إلى عناوين URL الخاصة بك؟
إذا واجهت خطأ في الخادم أثناء الزحف إلى عناوين URL يمكن أن تنتقل إلى تقرير” أخطاء الزحف ” الموجودة في Google Search Console حتى تكشف عن عناوين URL التي قد تكون هي السبب في خطأ الزحف ويعرض لك هذا التقرير في خادم الأخطاء server errors ويعرض أيضا الأخطاء الغير موجودة not found errors.
وفي البداية قبل أن تفعل أي شيء في تقرير أخطاء الزحف Crawl error لا بد أن تفهم أولا أخطاء الخادم والأخطاء غير الموجودة.
4xx Codes( أخطاء الأكواد 4xx)
تعتبر أخطاء الزحف 4xx هي أخطاء منتشرة وشائعة تظهر للمستخدمين وتواجه برامج الزحف وهذا يعني احتواء عناوين URL على كلمات أو بناء جمل غير صحيح أو تعذر الوصول إليه.
وأكثر أخطاء 4xx شيوعاً هو الخطأ 404 “غير موجود” وهذا الخطأ قد يحدث نتيجة أخطاء إملائية في كتابة رابط معين أو أن الصفحة التي يتم البحث عنها محذوفة وتم أرشفتها أو توجيه الرابط لا يتم بشكل سليم وصحيح.
5xx Codes (أخطاء الأكواد 5xx)
معظم أخطاء 5xx تحدث بسبب خطأ في الخادم أي أنه يوجد فشل في الخادم نفسه مما تسبب في عدم وصوله لصفحة الويب التي يتم البحث عنها وعرضها بالشكل المطلوب.
تقرير خطأ الزحف Google Search Console توجد به علامة تبويب خاصة لمثل هذا الأخطاء وتحدث هذه الأخطاء بسبب انتهاء المدة المقرر طلب عنوان URL فيها لهذا يقوم Googlebot بأعمال هذه الروابط
لحسن الحظ، أصبح هناك طريقة تخبر بها لإخبار كل الباحثين ومحركات البحث بأن صفحتك المعطلة قد تم نقلها إلى صفحة جديدة تعمل – وذلك عبر إعادة التوجيه الدائمة 301.
تحتاج محركات البحث والمستخدمون إلى جسر للعبور من عنوان URL القديم إلى الجديد. هذا الجسر هو إعادة التوجيه 301.
| | عند تنفيذ 301: | عندما لا تنفذ 301: |
|---|
| Link Equity | نقل ملكية الرابط من الموقع القديم للصفحة إلى عنوان URL الجديد. | بدون إعادة توجيه 301، لا يتم تمرير اثورتي الصفحة من عنوان URL السابق إلى الإصدار الجديد من عنوان URL. |
| Indexing | يساعد Google في العثور على الإصدار الجديد من الصفحة وفهرسته. | هذا معناه وجود أخطاء 404 على صفحة موقعك ولكن لا يضر بأداء البحث لموقعك.
ولكن تذكر أن تركك التصنيفات والصفحات الغير موجودة في 404 قد يتسبب في سقوطها من الفهرس مع فقدان الترتيب والترافيك الذي يأتي منها. |
| User experience | هذا الأمر يضمن للمستخدمين العثور على الصفحة التي يبحثون عنها. | يسمح للزائرين بالنقر على الروابط المفقودة ونقلهم ذلك إلى صفحات الأخطاء بدلا من نقلهم للصفحة المقصودة مما يسبب الإحباط. |
هناك خيار آخر يمكنك استخدام وهو 302 إعادة توجيه الصفحة ولكن هذا الأمر مخصص فقط للتنقل المؤقت وفي حالات لا يوجد فيها أي نقل لقوة الرابط link equity كبير.
302s هو نوع من أنواع العمليات المخصصة في إعادة التوجيه وهو يمكن وصفه باختصار أن الطرق المؤقتة حيث تقوم هذه العمليات بتحويل حركة المرور من خلال مسار واتجاه معين في شكل حل مؤقت وغير دائم.
احترس من حلقات إعادة التوجيه redirect chains!
عندما يكون من الصعب على Googlebot العثور على صفحتك، هنا لا بد من ضرورة عمل إعادة توجيه متعددة.
ويطلق Google على هذا العمل “سلاسل إعادة التوجيه” ويوصى بمحاولة التقليل من استخدامها قدر الإمكان.
إذا قمت بعمل إعادة توجيه من احدى صفحاتك إلى الأخرى فمن الأفضل التخلص من الوسيط بين الصفحتين وإعادة التوجيه مباشرة
وهنا بعد التأكد من الانتهاء من تحسين موقعك بشكل جيد ليكون قابل الزحف فعليك الانتقال إلى الخطوة الثانية وهي التأكد من إمكانية الفهرسة “قابلية موقعك الفهرسة”.
الفهرسة: كيف تقرأ محركات البحث صفحاتك وتخزنها؟
ليس من الضروري أنه بمجرد الزحف إلى موقعك واكتشافه سيتم تخزينه وفهرسته لان فهرسة موقعك تتم بعد الزحف إليه وتحليل محركات البحث لمحتويات صفحتك ثم يتم تخزين جميع المعلومات في فهرس الصفحة في المكان المناسب لتخزين المحتوى.
هل يمكنني رؤية كيف يرى زاحف Googlebot صفحاتي؟
بالطبع يمكنك ذلك حيث سيقوم الإصدار المخزن لصفحتك Cached version بعكس وإعادة عرض لقطة من آخر مرة قام برنامج Googlebot بالزحف إليها.
يبدأ Google بالزحف إلى صفحات الويب ثم تخزينها مؤقتا
بسبب عدة عوامل مختلفة حيث يتم الزحف إلى المواقع المشهورة والتي تقوم بنشر اخبار بشكل منتظم ودوري.
على سبيل المثال https://www.nytimes.com.
يمكن أن تقوم بعرض شكل النسخة المخزنة عن طريق النقر على السهم الموجود بجوار عنوان URL في SERP وتقوم باختيار “Cached”:
كما يمكنك أيضا أن تعرض نسخة نصية فقط من موقعك حتى تتأكد ما إذا كان محتواك المهم يتم الزحف إليه وتخزينه مؤقتاً بطريقة فعالة أم لا.
هل يمكن ان تقوم محركات البحث بإزالة الصفحات من الفهرس؟
نعم بالطبع يمكن ذلك وإليك الأسباب الرئيسية في إزالة عناوين URLS من الفهرس:
- يقوم عنوان URL بإظهار خطأ “غير موجود “(4xx)أو يظهر وجود خطأ في الخادم( 5xx)وهذا أمر من المعتاد أن يحدث بسبب نقل صفحة ما مع عدم إعداد إعادة توجيه 301 أو قد يحدث هذا الأمر بقصد حذف الصفحة لتصبح غير موجودة 404 بهدف أن يتم محوها من الفهرس.
- إذا تمت إضافة تاج أو وضع علامة noindex إلى عنوان URL في هذه الحالة يمكن إضافة العلامة عن طريق مالك الموقع ليخبر محرك البحث بأن بحذف هذه الصفحة من الفهرسة.
- قد يتم معاقبة URl يدويا بسبب مخالفته الإرشادات الخاصة بمشرفي المواقع الخاصة بمحركات البحث وبسبب ذلك تمت إزالة من الفهرس.
- إذا تم عمل حظر URL ومنعه من الزحف مع وضع كلمة مرور مطلوبة قبل أن يصل الزائر إلى الصفحة.
أخبر محركات البحث عن كيفية فهرسة موقعك
“Robots meta directives “Tags
- Robots meta tags هي عبارة عن تعليمات وإرشادات يمكنك أن تعطيها لمحرك البحث فيما له علاقة بكيفية معالجة صفحة الويب.
- يمكنك إعطاء الزاحف الخاص بمحركات البحث بعض الأوامر مثل “لا تتبع أي روابط موجودة بهذه الصفحة” ويتم تنفيذ هذه الأوامر من خلال Robots Meta Tags في رأس (head) صفحة HTML
Robots meta tag
- يمكنك أن تستخدم robots meta tag في رأس( head )
- صفحة HTML لصفحتك على الويب.
- يمكن أن تستبعد كل أو بعض من محركات البحث المحددة.
وفيما يأتي meta directives الأكثر استخداما وشيوعا مع الأمور التي تطلق فيها.
1- index / noindex
مسؤول عن اخبار محركات البحث في حالة إذا كان يجب الزحف إلى الصفحة أو إذا كان يجب الاحتفاظ بالصفحة في فهرس محركات البحث من أجل استعادتها مرة أخرى أم لا.
إذا كان اختيارك استخدام “noindex” فأنت أخبرت البرامج المسؤولة عن الزحف بأنك ترغب أن تستبعد الصفحة من نتائج البحث وبشكل افتراضي لأن محركات البحث يمكنها فهرسة كل الصفحات افتراضياً وعلى هذا فإن استخدام “index” ليس ضرورياً بالمرة.
متى يمكن استخدامه: لك الخيار في وضع علامة على الصفحة تشير أنها “noindex” هذا إذا كنت ترغب تنظيم الصفحات الرفيعة من فهرس Google لموقعك.
2- follow / nofollow
تطلب محركات البحث الأمر ما إذا كان يجب أن تتبع الروابط أم لا.
وينتج عن Follow أو”متابعة” الروبوتات تتبع رابط صفحتك الخاصة وإرسال ملكية الرابط إلى عناوين URL، أما اختيارك “nofollow”، فلن تقوم محركات البحث بتتبع أو نقل أي ملكية للرابط إلى الروابط الأخرى من الصفحة افتراضيًا.
متى يمكن استخدامهم: يتم استخدام كلا من nofollow, noindex، عندما تريد أن تمنع فهرسة صفحة ومنع الزاحف من أن يتبع اتجاه الروابط الموجودة داخل هذه الصفحة.
3- يستخدم noarchive
يعمل على تقييد محركات البحث وعدم السماح لها بحفظ نسخة مخزنة من الصفحة Cached Copy
وبطريقة افتراضية تقوم المحركات بحفظ نسخ مرئية من جميع الصفحات التي قامت بعمل فهرسها لها كما يمكن للباحثين الوصول إلى هذه الصفحات من خلال الرابط المخزن cached link في نتائج البحث.
متى يمكن استخدامها إذا كان لديك موقعاً للتجارة الإلكترونية وتقوم بإدارته e-commerce site وتقوم بتغيير اسعارك بصفة مستمرة وبانتظام فقد تحتاج في بعض الأحيان إلى وضع علامة noarchive لتمنع الباحثين من رؤية اسعارك القديمة.
X-Robots-Tag
تستخدم علامة x-robots الموجودة في هيدر HTTP لعنوان URL الخاص بك، مما يساهم في توفير مرونة ووظائف أكثر من علامات الوصف meta tags
وذلك إذا كنت ترغب في حظر محركات البحث على نطاق أوسع حيث يمكنك استخدام التعبيرات العادية وحذف ملفات غير( HTML) وتطبيق جميع العلامات على مستوى الموقع noindex.
على سبيل المثال (يمكنك ببساطة ويسر أن تستبعد مجلدات وملفات.
مثل: moz.com/no-bake/old-recipes-to-noindex
الترتيب Ranking: كيف ترتب محركات البحث عناوين URL؟
- الترتيب هو فعندما يقوم أحد الأشخاص بالبحث بكتابة كلمة مفتاحية في شريط البحث فيحصل على كل النتائج التي تتعلق بكلمته المفتاحية أي ترتيب جميع نتائج البحث على حسب الأكثر صلة ثم الأقل صلة بالكلمة المفتاحية.
- والتأكد وتحديد مدى تطابق النتائج relevance مع العبارات الموجودة في شريط البحث queries تقوم محركات البحث باستخدام “البحث الخوارزمي” وهو العملية التي يتم عن طريقها استرجاع المعلومات التي تم تخزينها وترتيبها بطرق لها معنى.
- يجب التحقق من سجل التحديثات والتغييرات الخوارزمي Google وذلك للحصول على قائمة كاملة تشمل كافة التحديثات الخوارزمي Google المؤكدة وغير المؤكدة.
لماذا تتغير الخوارزمية في كثير من الأحيان؟
نحن نعلم أن هدف Google عندما يعمل على إجراء التعديلات الخوارزمي هو تحسين الجودة أثناء البحث عموماً
وهذا هو السبب في أسئلة تحديث الخوارزمي على فترات التي تكون الإجابة عليها “نحن نقوم بإجراء تحديثات الجودة
Rater Quality search،وGoogle
فكلاهما مهمان للغاية فيما له علاقة بما تريد محركات البحث.
ماذا تريد محركات البحث؟
دائما يظل هدف محركات البحث هو توفير إجابات مفيدة على أسئلة من يقوم بالبحث بطريقة أكثر فائدة.
من قبل كان من السهل القيام بخداع محركات البحث عن طريق استخدام بعض الحيل والتكتيكات التي تتعارض مع معايير الجودة وذلك من خلال استخدام أسلوب حشو الكلمات المفتاحية أو الرئيسية keyword stuffing.
فعلى سبيل المثال إذا كانت لديك رغبة في أن تتصدى بكلمة مفتاحية معينة محركات البحث مثل كلمة” أمثال وحكم “فكل ما عليك فعله هو كتابة هذه الكلمات “أمثال وحكم” عدة مرات بشكل متكرر وجعلها باللون الأسود الغامق أو ملونة.
إلا أن استخدام هذا التكتيك تسبب في ترك تجارب سيئة للمستخدم “bad user experience”.وبدلا من الاستمتاع شعر المستخدم بالملل وليس هذا ما تريده محركات البحث.
أهمية الباك لينك أو الروابط الخلفية في السيو
inbound links وهي روابط في مواقع أخرى تشير إلى موقع الويب الخاص بك، أما الروابط الداخلية هي عبارة عن روابط موجودة داخل موقعك الخاص تشير إلى صفحاتك الأخرى (على نفس الموقع).
والجدير بالذكر أن الروابط قامت بلعب دوراً هاما في تحسين محركات البحث SEO حيث كانت المحركات في حاجة إلى
المساعدة في معرفة عناوين URL الأكثر ثقة حتى تساعد في تحديد كيف يتم ترتيب نتائج البحث.
مما أدى إلى إنشاء صفحتين المساعدة في تحديد الترتيبات اللازمة للموقع، هذا السبب في إنشاء عدة عوامل لمعرفة كيف يعمل الباكلينك وماهي مصادره الأساسية في جوجل وطرق تحديد نتائج البحث علي حسب كمية البالكلينك المأخوذة.
وبالتالي كلما زادت الروابط الخلفية في موقعك كلما كانت احتمالات ظهور موقعك في نتائج البحث أعلى.
دور المحتوى في تحسين محركات البحث SEO
لا توجد أية فائدة من الروابط إذا لم يقم المحتوى بعمل بإضافة أي شيء للباحثين كما أن المحتوى ليس فقط عبارات وكلمات مفتاحية فهو من المفروض أن يكون أي شيء يبحث عنه ويحتاج له الباحثون سواء ( صور، فيديوهات، نصوص)إذا نظرنا إلى محركات البحث على أنها آلات فإن المحتوى هو الوسيلة التي تقدم بها محركات البحث الإجابات للباحثين.
User satısfaction هو محاولة محرك البحث إرضاء الباحث من خلال مساعدته للوصول إلى اكثر محتوى صفحة يتطابق مع كلمته البحثية ونظرا لهذا الإرضاء فلا توجد معايير صارمة تحكم طول المحتوى الذي يجب ان يكون عليه محتواك الخاص، أو عدد مرات احتوائه على الكلمة الرئيسية ومهما كان التركيز على جودة الصفحة لتظهر في نتائج البحث لا يقارن بالتركيز على المحتوى الذي يقرأه المستخدم.
واليوم بالرغم من وجود الآلاف من عوامل الترتيب ranking signals إلا أنه تظل الأهمية الكبرى الثلاث عوامل التالية في تحديد الترتيب الصفحات والمواقع وهي:-
(روابط الموقع، أو محتوى الصفحة، و Rank Brain.)
ما هو Rank Brain؟
هو جزء من أجزاء التعلم الآلي بشكل أساسي خوارزمية جوجلGoogle.
التعلم الآلي هو برنامج كمبيوتر يستمر في تحسين توقعاته بمرور الوقت عن طريق الحصول على ملاحظات وبيانات جديدة، أي أنه بتعلم بشكل دائم ومستمر وعلى هذا الأساس تتحسن نتائج البحث باستمرار.
Localized search البحث المحلي
يضم محتوى البحث Google على فهرس خاص به يضم قوائم الأنشطة التجارية والتي تخرج منها نتائج البحث المحلية.
أما إذا كنت تعمل على تحسين سيو seo محلي لشركة لها موقع حقيقي وفعلي يمكن للجمهور والعملاء زيارته (طبيب أطفال ) فيمكنك عمل تحسين سيو لها عن طريق تأسيس حساب My Google Business Listing
وإذا كان الأمر له علاقة بنتائج البحث localized search results ففي هذه الحالة يستخدم Google ثلاثة عوامل رئيسية لتحديد الترتيب :-
Relevance
معناه الصلة أو المطابقة التامة بين ما يقدمه أي نشاط تجاري محلي مع ما يبحث عنه الباحثون وحتى تستفيد من هذه الميزة جيدا عليك بالتأكد من ملء معلومات النشاط التجاري بشكل دقيق وكامل.
Distance
يقوم Google باستخدام الموقع الجغرافي الخاص بك حتى يقدم نتائجك المحلية بطريقة أفضل حيث تصبح تكون نتائج البحث حساسة بقدر كبير للقرب والتي توضح مع الإشارة لموقع الباحث.
Prominence
يتطلع Google إلى منح مكافأة للشركات المعروفة في العالم الفعلي الواقعي.
ماهي العوامل التي تساهم في ترتيب نتائج البحث المحلي
Reviews
تختص بحصر عدد مراجعات Google التي قامت الشركات المحلية بتلقيها والشعور بهذه المراجعات يكون له تأثير كبير وملحوظ على قدرة الشركات على ترتيب النتائج المحلية.
Citations
تكون “قائمة النشاط التجاري” مرجعًا من خلال موقع الويب نشاط تجاري محلي “NAP”
أي (الاسم والعنوان ورقم الهاتف) عبر نظام أساسي مترجم (Yelp و Acxiom و YP و Infogroup و Localize)
كما تتأثر معظم التصنيفات المحلية بعدد الاستشهادات التجارية المحلية.
حيث يعمل Google على سحب البيانات من مجموعات كبيرة وواسعة من المصادر من أجل تكوين مؤشر أعمالها المحلي بشكل دائم ومستمر.
عندما يحصل Google على عدد من الإشارات المنسقة مع اسم الشركة وموقعها ورقم هاتفها فإنها تعمل على زيادة وتعزيز ثقة Google في صحة هذه البيانات.
يؤدي هذا إلى تمكن Google من إظهار النشاط التجاري بدرجة عالية من الثقة.
كما يعتمد Google أيضًا على معلومات من مصادر متعددة على الويب مثل المقالات والروابط.
يعتبر هذا المقال من المقالات القليلة التي تناولت مراحل الفهرسة، والزحف، والترتيب في محركات البحث وفقا للسيو SEO بقدر عالي من الدقة في التناول والجودة في الشرح لكل تفاصيل هذه العملية التي نأمل أن يكون مرجع لكل من يرغب في معرفة ما هي مراحل تكوين و تطور محركات البحث Google.
أهم الأسئلة الشائعة الخاصة بمقال كيف تعمل محركات البحث على ترتيب نتائج البحث؟
ما تعني كلمة السيو أو SEO؟
كلمة السيو هي اختصار للكلمة الإنجليزية Search engine optimization والتي تعني تحسين محركات البحث وهي استراتيجية هامة في مجال التسويق الإلكتروني للمحتوى بشكل مجانيٍ حيث يُهتم بكتابة المحتوى بطريقة توافق السيو لضمان تصدره قائمة البحث.
ما هي أنواع السيو SEO؟
لدينا نوعان أساسيان في السيو وهما:
1- on-the-page seo
في هذا النوع يتم التركيز على عوامل مهمة خاصة بالمحتوى مثل استخدام الكلمات المفتاحية المناسبة، وضبط سرعة التصفح داخل الموقع، واستخدام صور ذات حجم قليل لسرعة تحميلها وأيضًا طريقة عرض المقالات بشكل مناسب وجيد.
2- off-the-page seo
فيه يتم استخدام بعض الاستراتيجيات الخلفية والتي ليس لها علاقة مباشرة بالمحتوى مثل الربط بروابط خلفية والتي تُسمى backlinks أو باك لينك وأيضًا ترويج الموقع في الصفحات الأخرى.
هل يمكنني أن أطبق كل أنواع السيو؟
لا مانع في ذلك فالنوعان يكملان بعضهما البعض بطريقة كبيرة.
