ياندكس هو محرك بحث روسي مع غالبية حصة السوق في روسيا بما يمثل 60% تقريبا في السوق الروسي ورابع أكبر محرك بحث في العالم.
في 27 يناير 2023، عانت ياندكس مما يمكن القول إنه أحد أكبر تسريبات البيانات التي عانت منها شركة تكنولوجيا حديثة منذ سنوات عديدة – ولكنها ثاني تسرب في أقل من عقد من الزمان.
في عام 2015، حاول موظف سابق في ياندكس بيع رمز محرك بحث ياندكس في السوق السوداء مقابل حوالي 30000 دولار.
كشف التسريب الأولي في يناير من هذا العام عن 1,922 عامل تصنيف، تم إدراج أكثر من 64٪ منها على أنها غير مستخدمة أو مهملة (تم استبدالها وتجنبها بشكل أفضل).
كان هذا التسرب مجرد ملف يسمى kernel ، ولكن عندما تعمقت أنا ومجتمع تحسين محركات البحث، تم العثور على المزيد من الملفات التي تحتوي مجتمعة على ما يقرب من 17,800 عامل ترتيب.
لطالما كانت Yandex ، مثل Google ، عامة مع تحديثات وتغييرات الخوارزمية، وفي السنوات الأخيرة، كيف تبنت التعلم الآلي.
تشمل التحديثات البارزة من العامين أو الثلاثة أعوام الماضية ما يلي:
- Vega (التي ضاعفت حجم المؤشر).
- Mimicry – التقليد (معاقبة المواقع المزيفة التي تنتحل صفة العلامات التجارية).
- تحديث Y1 (تقديم YATI).
- تحديث Y2 (أواخر 2022).
- اعتماد مؤشر الآن.
- طرح جديد وتحديث مفترض لمرشح PF.
في حين أن ياندكس معروفة في المقام الأول بوجودها في روسيا، فإن محرك البحث له أيضا وجود في تركيا وكازاخستان وجورجيا.
يعتقد أن تسرب البيانات له دوافع سياسية وتصرفات موظف مارق، ويحتوي على عدد من أجزاء التعليمات البرمجية من مستودع ياندكس المتآلف، أركاديا.
ضمن 44 جيجابايت من البيانات المسربة، هناك معلومات تتعلق بعدد من منتجات Yandex بما في ذلك البحث والخرائط والبريد و Metrika.
ماذا قال ياندكس عن البيانات المسربة.؟
بينما أكتب هذا المنشور صرحت ياندكس علنا بما يلي:
تتوافق محتويات الأرشيف (قاعدة التعليمات البرمجية المسربة) مع الإصدار القديم من المستودع – فهو يختلف عن الإصدار الحالي الذي تستخدمه خدماتنا
صرحت أيضا:
من المهم ملاحظة أن أجزاء التعليمات البرمجية المنشورة تحتوي أيضا على خوارزميات اختبار تم استخدامها فقط داخل Yandex للتحقق من التشغيل الصحيح للخدمات.
لذا، فإن مقدار قاعدة الكود هذه المستخدمة بنشاط أمر مشكوك فيه.
كشفت ياندكس أيضا أنه خلال تحقيقها وتدقيقها، وجدت عددا من الأخطاء التي تنتهك مبادئها الداخلية، لذلك من المحتمل أن تتغير أجزاء من هذا الرمز المسرب (قيد الاستخدام الحالي) في المستقبل القريب.
تصنيف العوامل
تصنف ياندكس عوامل الترتيب الخاصة بها إلى ثلاث فئات.
تم توضيح ذلك في الوثائق العامة ل Yandex لبعض الوقت، لكنني أشعر أنه يستحق تضمينه هنا، لأنه يساعدنا بشكل أفضل على فهم تسرب عامل الترتيب.
- العوامل الثابتة – العوامل المرتبطة مباشرة بموقع الويب (مثل الروابط الخلفية الواردة والروابط الداخلية الواردة والرؤوس ونسبة الإعلانات).
- العوامل الديناميكية – العوامل المرتبطة بكل من موقع الويب واستعلام البحث (مثل ملاءمة النص، وتضمينات الكلمات الرئيسية، وTF * IDF).
- العوامل المتعلقة ببحث المستخدم – العوامل المتعلقة باستعلام المستخدم (على سبيل المثال، مكان وجود المستخدم ولغة الاستعلام ومعدلات النية).
هناك الكثير من البيانات في تسريب ياندكس
فيما يلي بعض التأكيدات والدروس المستفادة التي تمكنا من تقديمها.
هناك الكثير من البيانات في هذا التسريب، ومن المحتمل جدا أننا سنجد أشياء جديدة ونجري اتصالات جديدة في الأسابيع القليلة المقبلة.
وتشمل هذه:
- ترتيب الصفحات (شكل من).
- في مرحلة ما، استخدمت ياندكس TF * IDF.
- لا تزال Yandex تستخدم الكلمات الرئيسية الوصفية، والتي يتم تمييزها أيضا في وثائقها.
- لدى Yandex عوامل محددة للموضوعات الطبية والقانونية والمالية (YMYL).
- يستخدم أيضا شكلا من أشكال تسجيل جودة الصفحة، ولكن هذا معروف (درجة ICS).
- الروابط من مواقع الويب ذات السلطة العالية لها تأثير على التصنيفات.
- لا يوجد شيء جديد يشير إلى أن Yandex يمكنه الزحف إلى JavaScript حتى الآن خارج العمليات الموثقة بالفعل بشكل عام.
- يمكن أن تؤثر أخطاء الخادم وأخطاء 4xx المفرطة على الترتيب.
- يؤخذ الوقت من اليوم في الاعتبار كعامل ترتيب.
فيما يلي، قمت بالتوسع في بعض التأكيدات والدروس المستفادة الأخرى من التسريب.
حيثما أمكن، قمت أيضا بربط عوامل الترتيب المسربة هذه بتحديثات الخوارزمية والإعلانات المتعلقة بها، أو حيث قيل لنا إنها مؤثرة.
ماتريكسنت – MatrixNet
تم ذكر MatrixNet في عدد قليل من عوامل الترتيب وتم الإعلان عنها في عام 2009، ثم تم استبدالها في عام 2017 بواسطة Catboost، والتي تم طرحها عبر مجال منتجات Yandex.
يضيف هذا مزيدا من الصلاحية إلى التعليقات مباشرة من Yandex ، وأحد مؤلفي العوامل DenPlusPlus (Den Raskovalov) ، أن هذا، في الواقع، مستودع كود قديم.
تم تقديم MatrixNet في الأصل كخوارزمية أساسية جديدة أخذت في الاعتبار الآلاف من عوامل الترتيب والأوزان المخصصة بناء على موقع المستخدم واستعلام البحث الفعلي ونية البحث المتصورة.
عادة ما ينظر إليه على أنه إصدار مبكر من RankBrain من Google ، عندما يكونان بالفعل نظامين مختلفين تماما. تم إطلاق MatrixNet قبل ست سنوات من الإعلان عن RankBrain.
تم بناء MatrixNet أيضا، وهذا ليس مفاجئا، نظرا لأنه يبلغ من العمر الآن 14 عاما.
في عام 2016، قدمت Yandex خوارزمية Palekh التي استخدمت الشبكات العصبية العميقة لمطابقة المستندات (صفحات الويب) والاستعلامات بشكل أفضل، حتى لو لم تكن تحتوي على “المستويات” الصحيحة من الكلمات الرئيسية الشائعة، ولكنها ترضي نوايا المستخدم.
كان Palekh قادرا على معالجة 150 صفحة في المرة الواحدة، وفي عام 2017 تم تحديثه بتحديث Korolyov، والذي أخذ في الاعتبار المزيد من عمق محتوى الصفحة، ويمكن أن يعمل على 200000 صفحة في وقت واحد.
عنوان URL والعوامل على مستوى الصفحة
من التسريب، علمنا أن Yandex تأخذ في الاعتبار إنشاء عنوان URL، على وجه التحديد:
- وجود أرقام في عنوان URL.
- عدد الخطوط المائلة اللاحقة في عنوان URL (وإذا كانت مفرطة).
- عدد الأحرف الكبيرة في عنوان URL هو عامل.
عمر الصفحة (عمر المستند) وتاريخ آخر تحديث مهمان أيضا، وهذا أمر منطقي.
بالإضافة إلى عمر المستند وآخر تحديث، يتعلق عدد من العوامل في البيانات بالحداثة – خاصة بالنسبة للاستفسارات المتعلقة بالأخبار.
استخدمت ياندكس سابقا الطوابع الزمنية ، وتحديدا ليس لأغراض الترتيب ولكن لأغراض “إعادة الترتيب” ، ولكن هذا يصنف الآن على أنه غير مستخدم.
أيضا في العمود المهمل يتم استخدام الكلمات الرئيسية في عنوان URL. قامت Yandex سابقا بقياس أن ثلاث كلمات رئيسية من استعلام البحث في عنوان URL ستكون نتيجة “مثالية”.
الروابط الداخلية وعمق الزحف
في حين أن Google قد سجلت أنه لأغراضها، فإن عمق الزحف ليس عاملا صريحا في الترتيب، يبدو أن Yandex لديها جزء نشط من التعليمات البرمجية التي تملي أن عناوين URL التي يمكن الوصول إليها من الصفحة الرئيسية لها مستوى “أعلى” من الأهمية.
يعكس هذا بيان جون مولر لعام 2018 بأن Google تعطي “وزنا أكبر قليلا” للصفحات التي تم العثور عليها بأكثر من نقرة واحدة من الصفحة الرئيسية.
تسلط عوامل الترتيب أيضا الضوء على ترجيح رمز مميز محدد لصفحات الويب “اليتيمة” داخل هيكل ربط موقع الويب.
يمكن رؤية السؤال الكامل، إلى جانب إجابة مولر، في الفيديو أدناه عند علامة 31:09.
النقرات ونسبة النقر إلى الظهور Clicks & CTR
في عام 2011، أصدرت Yandex منشور مدونة تتحدث عن كيفية استخدام محرك البحث للنقرات كجزء من تصنيفاتها وتتناول أيضا رغبات محترفي تحسين محركات البحث في التلاعب بالمقياس لتحقيق مكاسب في الترتيب.
عوامل النقر المحددة في التسرب تنظر إلى أشياء مثل:
- نسبة عدد النقرات على عنوان URL، بالنسبة إلى جميع النقرات على البحث.
- نفس ما ورد أعلاه، ولكن مقسمة حسب المنطقة.
- كم مرة ينقر المستخدمون على عنوان URL للبحث؟
التلاعب بالنقرات Manipulating Clicks
يعد التلاعب بسلوك المستخدم ، وتحديدا “النقر على الاصطياد” ، تكتيكا معروفا داخل ياندكس.
لدى Yandex مرشح ، يعرف باسم مرشح PF ، والذي يبحث بنشاط عن مواقع الويب التي تشارك في هذا النشاط ويعاقبها باستخدام البرامج النصية التي تراقب أوجه تشابه IP ثم “إجراءات المستخدم” لتلك النقرات – ويمكن أن يكون التأثير كبيرا.
توضح لقطة الشاشة أدناه التأثير على الجلسات العضوية (сессии) بعد معاقبتك على تقليد نقرات المستخدم.
سلوك المستخدم – User Behavior
تسريبات سلوك المستخدم هي بعض النتائج الأكثر إثارة للاهتمام.
يعد التلاعب بسلوك المستخدم انتهاكا شائعا لتحسين محركات البحث (SEO) تكافحه Yandex منذ سنوات.
في مؤتمر التحسين لعام 2020، قال رئيس أدوات مشرفي المواقع في Yandex آنذاك ميخائيل سليفينسكي إن الشركة تحرز تقدما جيدا في اكتشاف هذا النوع من السلوك ومعاقبته.
تعاقب Yandex التلاعب بسلوك المستخدم بنفس مرشح PF المستخدم لمكافحة التلاعب بنسبة النقر إلى الظهور.
وقت البقاء – Dwell Time
يحتوي 102 من عوامل الترتيب على TG_USERFEAT_SEARCH_DWELL_TIME العلامة، ويشير إلى الجهاز ومدة المستخدم ومتوسط وقت بقاء الصفحة.
تم إهمال جميع هذه العوامل باستثناء 39.
استخدم Bing مصطلح Dwell time لأول مرة في مدونة عام 2011، وفي السنوات الأخيرة أوضحت Google أنها لا تستخدم وقت السكون (أو إشارات تفاعل المستخدم المماثلة) كعوامل ترتيب.
YMYL
YMYL (أموالك، حياتك)Your Money, Your Life هو مفهوم معروف داخل Google وليس مفهوما جديدا ل Yandex.
ضمن تسرب البيانات، هناك عوامل تصنيف محددة للمحتوى الطبي والقانوني والمالي موجودة – ولكن تم الكشف عن ذلك بشكل ملحوظ في عام 2019 في مؤتمر Yandex Webmaster عندما أعلن عن مقياس جودة البحث Proxima.
استخدام بيانات Metrika
تتعلق ستة من عوامل الترتيب باستخدام بيانات Metrika لأغراض الترتيب. ومع ذلك، تم وضع علامة على أحدها على أنه مهمل:
- عدد الزوار المماثلين من ياندكس بار (YaBar / Ябар).
- متوسط الوقت المستغرق على عناوين URL من نفس الزوار المشابهين.
- “الجمهور الأساسي” للصفحات التي يوجد بها عداد Metrika [مهمل].
- متوسط الوقت الذي يقضيه المستخدم على مضيف عند الوصول إليه خارجيا (من موقع آخر غير بحثي) من عنوان URL محدد.
- متوسط “العمق” (عدد الزيارات داخل المضيف) لإقامة المستخدم على المضيف عند الوصول إليه خارجيا (من موقع آخر غير بحثي) من عنوان URL معين.
- ما إذا كان المجال مثبتا عليه Metrika أم لا.
في Metrika، يتم التعامل مع بيانات المستخدم بشكل مختلف.
على عكس Google Analytics، هناك عدد من التقارير التي تركز على “ولاء” المستخدم الذي يجمع بين مقاييس التفاعل في الموقع وتكرار الإرجاع والمدة بين الزيارات ومصدر الزيارة.
على سبيل المثال، يمكنني رؤية تقرير بنقرة واحدة لرؤية تفاصيل زوار الموقع الفرديين:
يأتي Metrika أيضا “خارج الصندوق” مع أدوات خريطة الحرارة وتسجيل جلسة المستخدم، وفي السنوات الأخيرة حقق فريق Metrika تقدما جيدا في القدرة على تحديد حركة مرور الروبوت وتصفيتها.
مع Google Analytics ، هناك حجة مفادها أن Google لا تستخدم بيانات UA / GA4 لأغراض الترتيب بسبب مدى سهولة تعديل شفرة التتبع أو كسرها – ولكن مع عدادات Metrika ، فهي أكثر خطية، والكثير من التقارير غير قابلة للتغيير من حيث كيفية جمع البيانات.
تأثير الزيارات على الترتيب
متابعة من النظر إلى بيانات Metrika كعامل ترتيب، تؤكد هذه العوامل بشكل فعال أن حركة المرور المباشرة وحركة المرور المدفوعة (شراء الإعلانات عبر Yandex Direct) يمكن أن تؤثر على أداء البحث المجاني:
- حصة الزيارات المباشرة بين جميع حركة المرور الواردة.
- حصة حركة المرور الخضراء (ويعرف أيضا باسم الزيارات المباشرة) – سطح المكتب.
- حصة حركة المرور الخضراء (ويعرف أيضا باسم الزيارات المباشرة) – المحمول.
- حركة البحث – التحولات من محركات البحث إلى الموقع.
- حصة الزيارات إلى الموقع وليس عن طريق الروابط (تعيين باليد أو من الإشارات المرجعية).
- عدد الزوار الفريدين.
- حصة حركة المرور من محركات البحث.
عوامل الأخبار
هناك عدد من العوامل المتعلقة ب “الأخبار”، بما في ذلك عاملان يذكران Yandex.News مباشرة.
كان Yandex.News مكافئا لأخبار Google، ولكن تم بيعه إلى الشبكة الاجتماعية الروسية فكونتاكتي في أغسطس 2022، إلى جانب منتج آخر من ياندكس “Zen”.
لذلك، ليس من الواضح ما إذا كانت هذه العوامل تتعلق بمنتج لم تعد تملكه أو تديره ياندكس، أو بكيفية تصنيف المواقع الإخبارية في البحث “العادي”.
أهمية الروابط الخلفية
لدى Yandex خوارزميات مماثلة لمكافحة التلاعب بالروابط مثل Google – ومنذ مرشح Nepot في عام 2005.
من مراجعة عوامل ترتيب الروابط الخلفية وبعض التفاصيل في الأوصاف، يمكننا أن نفترض أن أفضل الممارسات لبناء روابط ل Yandex SEO هي:
- بناء روابط بتردد أكثر طبيعية وكميات متفاوتة.
- قم ببناء روابط مع نصوص الربط ذات العلامات التجارية بالإضافة إلى استخدام الكلمات الرئيسية التجارية.
- في حالة شراء روابط، تجنب شراء الروابط من مواقع الويب التي تحتوي على مواضيع مختلطة.
فيما يلي قائمة بالعوامل المتعلقة بالروابط التي يمكن اعتبارها تأكيدات لأفضل الممارسات:
- عمر الرابط الخلفي.
- صلة الارتباط بناء على الموضوعات.
- الروابط الخلفية التي تم إنشاؤها من الصفحات الرئيسية لها وزن أكبر من الصفحات الداخلية.
- يمكن أن تؤثر الروابط من أفضل 100 موقع ويب بواسطة PageRank (PR) على التصنيفات.
- ملاءمة الرابط بناء على جودة كل رابط.
- ملاءمة الرابط، مع مراعاة جودة كل رابط، وموضوع كل رابط.
- ملاءمة الرابط، مع مراعاة الطبيعة غير التجارية لكل رابط.
- النسبة المئوية للروابط الواردة مع كلمات الاستعلام.
- النسبة المئوية لكلمات الاستعلام في الروابط (حتى مرادف).
- تحتوي الروابط على جميع كلمات الاستعلام (حتى مرادف).
- تشتت عدد كلمات الاستعلام في الروابط.
ومع ذلك، هناك بعض العوامل المتعلقة بالارتباط والتي تعتبر اعتبارات إضافية عند تخطيط الروابط الخلفية ومراقبتها وتحليلها:
- نسبة الروابط الخلفية “الجيدة” مقابل “السيئة” إلى موقع الويب.
- تواتر الروابط إلى الموقع.
- عدد روابط مهملات SEO الواردة بين المضيفين.
كشف تسرب البيانات أيضا أن حاسبة رابط البريد العشوائي تحتوي على حوالي 80 عاملا نشطا يتم أخذها في الاعتبار، مع عدد من العوامل المهملة.
هذا يخلق السؤال حول مدى قدرة Yandex على التعرف على هجمات تحسين محركات البحث السلبية، نظرا لأنه ينظر إلى نسبة الروابط الجيدة مقابل الروابط السيئة، وكيف يحدد ما هو الرابط السيئ.
من المحتمل أيضا أن يكون هجوم تحسين محركات البحث السلبي عبارة عن حدث ارتباط قصير الاندفاع (عالي التردد) حيث سيحصل الموقع عن غير قصد على عدد كبير من الروابط ذات الجودة الرديئة وغير الموضعية والتي يحتمل أن تكون محسنة بشكل مفرط.
تستخدم Yandex نماذج التعلم الآلي لتحديد شبكات المدونات الخاصة (PBNs) والروابط المدفوعة، وهي تفترض نفس الافتراض بين سرعة الارتباط والفترة الزمنية التي يتم الحصول عليها.
عادة، يتم إنشاء الروابط المدفوعة على مدى فترة زمنية أطول، وهذه الأنماط (بما في ذلك تحليل موقع أصل الارتباط) هي ما تم تقديمه لتحديث Minusinsk (2015) لمكافحته.
عقوبات ياندكس
هناك عاملان للترتيب، كلاهما مهمل، يسمى SpamKarma و Pessimization.
يشير التشاؤم (Pessimization) إلى تقليل نظام ترتيب الصفحات إلى الصفر ويتماشى مع توقعات عقوبات ياندكس الشديدة.
يتوافق SpamKarma أيضا مع الافتراضات التي تم إجراؤها حول Yandex التي تعاقب المضيفين والأفراد، بالإضافة إلى المجالات الفردية.
الإعلان على الصفحة – Onpage Advertising
هناك عدد من العوامل المتعلقة بالإعلان على الصفحة، بعضها مهمل (مثل مثال لقطة الشاشة أدناه).
من غير المعروف من الوصف بالضبط ما هي عملية التفكير مع هذا العامل، ولكن يمكن افتراض أن نسبة عالية من الإعلانات إلى الشاشة المرئية كانت عاملا سلبيا – يشبه إلى حد كبير كيف تأخذ Google الاستياء إذا كانت الإعلانات تشوش المحتوى الرئيسي للصفحة، أو كانت متطفلة.
بربط هذا مرة أخرى بآليات Yandex المعروفة، أخذ تحديث Proxima أيضا في الاعتبار نسبة المحتوى المفيد والإعلاني على الصفحة.
هل يمكننا مقارنة عوامل ترتيب ياندكس بجوجل؟
ياندكس وجوجل هما محركان بحث متباينين، مع عدد من الاختلافات، على الرغم من عشرات المهندسين الذين عملوا في كلتا الشركتين.
بسبب الكفاح من أجل المواهب، يمكننا أن نستنتج أن بعض هؤلاء المبرمجين المهندسين الرئيسيين سيكونون قد بنوا الأشياء بطريقة مماثلة (وإن لم تكن نسخا مباشرة)، وطبقوا التعلم من التكرارات السابقة لبنياتهم مع أصحاب العمل الجدد.
ماذا يقول محترفو تحسين محركات البحث الروس عن تسريب ياندكس ؟
مثل الكثير من العالم الغربي، كان لمحترفي تحسين محركات البحث في روسيا رأيهم في التسريب عبر منتديات Runet المختلفة.
كان رد الفعل في هذه المنتديات مختلفا عن SEO Twitter و Mastodon ، مع التركيز بشكل أكبر على مرشحات Yandex ومنتجات Yandex الأخرى التي تم تحسينها كجزء من حملات تحسين Yandex الأوسع.
تجدر الإشارة أيضا إلى أن عددا من الاستنتاجات والنتائج من البيانات تتطابق مع ما يجده عالم تحسين محركات البحث الغربي أيضا.
المواضيع المشتركة في منتديات البحث الروسية:
- يطلب مشرفو المواقع إحصاءات حول الفلاتر الحديثة، مثل التقليد وفلتر PF المحدث.
- عمر وأهمية بعض العوامل، بسبب أسماء المؤلفين لم تعد موجودة في ياندكس، ويذكر منتجات ياندكس المتقاعدة منذ فترة طويلة.
- تتمثل الدروس الرئيسية المثيرة للاهتمام حول استخدام بيانات Metrika والمعلومات المتعلقة بالزاحف والمفهرس.
- هناك عدد من العوامل التي تحدد استخدام DSSM، والذي تم استبداله نظريا بإصدار Palekh في عام 2016. كانت هذه خوارزمية بحث تستخدم التعلم الآلي، والتي أعلنتها Yandex في عام 2016.
- نقاش حولICS في ياندكس، وما إذا كان ياندكس قد يوفر المزيد من الزيارات إلى الموقع ويؤثر على عوامله الخاصة من خلال القيام بذلك أم لا.
كما خضعت العوامل المسربة، لا سيما حول كيفية تقييم ياندكس لجودة الموقع،للتدقيق.
هناك شعور طويل الأمد في مجتمع تحسين محركات البحث الروسي بأن Yandex تفضل في كثير من الأحيان منتجاتها وخدماتها الخاصة في نتائج البحث قبل مواقع الويب الأخرى، ويطرح مشرفو المواقع أسئلة مثل:
لماذا يكلف نفسه عناء الذهاب إلى كل هذه المشاكل، عندما يقوم فقط بتثبيت خدماته في أعلى الصفحة على أي حال؟
في الوثائق المترجمة بشكل فضفاض، يشار إليها باسم السحرة أو سحرة ياندكس. في Google، نسمي ميزات صفحات نتائج محرك البحث هذه (SERPs) – مثل فنادق Google، وما إلى ذلك.
في أكتوبر 2022، طالب Kassir (بوابة تذاكر روسية) بتعويض قدره 328 مليون ين من ياندكس بسبب الإيرادات المفقودة، بسبب “الظروف التمييزية” التي أخذ فيها سحرة ياندكس قاعدة العملاء بعيدا عن الشركة الخاصة.
هذا على خلفية دعوى جماعية لعام 2020 رفعت فيها العديد من الشركات قضية مع الخدمة الفيدرالية لمكافحة الاحتكار (FAS) للترويج المانع للمنافسة لخدماتها الخاصة.
المصدر: SEJ
