خريطة موقع XML: دليل كامل للاستخدام. تقرير ملف خريطة الموقع كيفية التحقق من ملف خريطة الموقع في Yandex

في هذا الدليل ، سنتناول الموضوعات التالية:

ما هو ملف Sitemap؟

هذا ملف يحتوي على قائمة روابط لجميع الصفحات المهمة في الموقع. وهذا هو ، يوجه هذا المستند محركات البحثإلى المحتوى الرئيسي على الموقع.

ما هي خريطة الموقع ل؟

يلزم وجود ملف Sitemap إذا كان الموقع يعاني من مشاكل في الفهرسة ، والتي تنتج عن:
1) عدد كبير من الصفحات ؛
2) عدم وجود روابط (داخلية أو خارجية) للصفحات ؛
3) التعشيش العميق في الموقع (بنية معقدة).

HTML مقابل XML خريطة الموقع

تعد خرائط المواقع من الأنواع التالية:

• لغة البرمجة؛

أبسط تفسير للاختلاف بين هذه التنسيقات هو أن خريطة XML مخصصة في الأساس لمحركات البحث ، بينما HTML مخصصة للمستخدمين.

خريطة HTML- هذه مجرد نظرة عامة على الموقع ، وتحتوي فقط على المعلومات والصفحات التي يحتاج المستخدمون إلى رؤيتها. إذا كنت في الموقع وتبحث عن قسم معين ، فعند الانتقال إلى ملف HTML Sitemap ، يمكنك العثور عليه بسهولة. على الرغم من أن هذا النوع من خرائط الموقع يركز على المستخدم ، إلا أنه يمكن أن يساعدك أيضًا في الترتيب في محركات البحث. يعد هذا أحد الأدلة على اهتمامك براحة الموقع بالنسبة للمستخدم.

عند تجميع خريطة موقع HTML ، من المهم مراعاة ما يلي:

1. محتوى منظم.

يجب أن تكون خريطة الموقع واضحة وسهلة الاستخدام. من المرغوب فيه أن تتضمن أقسامًا ، وفئات ، وفئات فرعية ، وما إلى ذلك.

2. ربط المراسي.

بروتوكول خرائط XMLالموقع مخصص لروبوتات البحث. يحتوي ملف XML على معلومات حول تاريخ آخر تحديث لعنوان URL ومدى أهميته وعدد مرات حدوث التغييرات.

عادةً ما يتكون ملف Sitemap من علامات XML التالية:

إلزامي:
- يحدد معيار البروتوكول ويغلف هذا الملف.
– содержит в себе информацию о URL-адресе (является родительским тегом).
https://appcube.ru/ar/ – содержит абсолютный URL-адрес.

Необязательные:
– указывает дату последнего изменения файла.
– указывает частоту смены файла.
– указывает на значимость документа на сайте. Диапазон значений: от 0,1 до 1,0 (по умолчанию 0,5).

Не устанавливайте для каждого URL-адреса слишком частую смену файла и максимальный приоритет. Если метки частоты и приоритета не отражают реальность, вероятнее всего, поисковые системы будут более склонны игнорировать всю карту XML.

Другие форматы Sitemap

Помимо вышеперечисленных карт сайта, поисковые системы также поддерживают следующие форматы:

Для Google:
— RSS, mRSS и Atom 1.0;
RSS / Atom фиды должны содержать последние обновления вашего сайта. Обычно они небольшие и часто обновляются (что является плюсом).
— Сайты Google.
Для сайтов, созданных на платформе Google Сайты, Sitemap создаётся автоматически, и внести какие-то изменения невозможно.

Для Google и Яндекс:
— текстовый формат (TXT).
Файл должен быть в кодировке UTF-8 и состоять только из URL-адресов.

Требования Google и Яндекса к файлам Sitemap

1. Используйте кодировку UTF-8.
2. Максимальное количество URL – 50 000.
3. Ссылки в сайтмапе должны быть на том же домене, что и файл.

4. Если файл слишком большой, разделите его на несколько и укажите их в файле индекса Sitemap.
5. Ответ сервера при обращении к файлу должен быть 200 ОК.
6. Указывайте только канонические адреса страниц (без GET-параметров и идентификаторов сессий).

1. Максимальный размер – 10 МБ.
2. Поддерживает кириллические URL.

1. Максимальный размер – 50 МБ.
2. Поддерживает только цифры и латинские буквы.

Распространённая ошибка: чтобы уменьшить требования к пропускной способности канала, используют архиватор gzip. Размер сайтмапа должен быть 50 МБ (10 МБ) до сжатия, а не после.

Совет: русские доменные имена можно преобразовать с помощью кодировки Punycode.

Как создать XML Sitemap

1. Чтобы создать карту сайта, в первую очередь нужно определить канонические адреса, которые будут добавлены в файл.

2. Определить, какой формат файла будете использовать.

3. Создать файл можно вручную или, воспользовавшись генератором Sitemap.

Google в своей справке подготовил список онлайн и десктопных, платных и бесплатных генераторов карт сайта. Ознакомиться со всем списком можно, перейдя по ссылке .

Сгенерировать Sitemap проще, чем кажется. Разберём, как сгенерировать сайтмап, на примере деcктопного приложения Majento:

1. Парсим сайт.

2. Переходим в раздел «Сайты» => «Генерировать Sitemap».

3. Сохраняем в нужном нам формате.

4. Карта сайта готова.

Из online-генераторов XML-карты сайта заслуживает внимания XML Sitemap Generator .

Расширенные возможности этого сервера позволяют установить определённые XML-теги, включить/исключить нужные документы.

Исключить ненужные страницы можно и с помощью регулярных выражений.

Google поддерживает расширенный синтаксис для изображений. Для этого вы можете создать отдельную карту сайта для изображений или добавить синтаксис в существующую. Использование расширенного синтаксиса в Sitemap предоставляет поисковой системе дополнительную информацию об изображениях на сайте. Также это может помочь Google обнаружить и проиндексировать изображения, которые он не может найти при сканировании сайта.

Как и в обычной карте сайта, есть обязательные и необязательные XML-теги.

Обязательные:
– аналогично тегу содержит в себе URL изображения и дополнительную информацию.
– URL изображения.

Необязательные:
– подпись к изображению.
– место съёмки фотографии.
– название изображения.
– URL-лицензии изображения.

Ещё один расширенный синтаксис, который поддерживает Google, – XML-карта для видео.

Плюсы добавления XML-тегов для видео:

1) даёт понять Google, какой контент на сайте;
2) даёт возможность предоставить детальное описание к файлу;
3) станет доступным для поиска в Google Видео;
4) в поисковой выдаче будет отображаться заставка видео (может повысить количество переходов из поисковой выдачи).

Карта сайта для видеофайлов состоит из следующих обязательных элементов:

– содержит URL-адрес страницы, на которой размещено видео; если на одной странице размещено более одного видео, не нужно каждый раз создавать тег , достаточно в одном теге несколько раз прописать для каждого видео на странице.
– включает в себя всю информацию о видео.
– URL к миниатюрному изображению (заставке) к видео. Рекомендованные размеры: от 160×90 пикселей до 1920×1080. Форматы изображения: .jpg, .png, or. gif
– заголовок, который должен совпадать с названием страницы, на которой отображается видео.
– описание видео. Должно соответствовать с метаописаниями страницы. Максимальное количество символов – 2048.

Заголовок и описание видео должны быть экранированы или упакованы в блок CDATA.

Со всеми XML-тегами карты сайта для видео можно ознакомиться в справке Google .

Где разместить карту сайта

Распространённые заблуждения о Sitemap

Так как у многих этот файл вызывает трудности и является «тёмным лесом», возникают определённые мифы в отношении карт сайта. Рассмотрим некоторые из них:

– «Включение URL-адреса в файл Sitemap для XML гарантирует, что он будет проиндексирован».
Нет. Важно отметить, что XML-файлы Sitemap – это только рекомендации. Карта сайта XML не гарантирует индексацию поисковыми системами страниц, указанных в файле.

– «Если я удалю URL из XML-карты, он будет удалён из индекса».
Нет. Карта сайта XML не исключает индексацию страниц, не включённых в карту сайта XML.

– «XML-файлы Sitemap трудно создавать и поддерживать»
Нет. Небольшие сайты могут легко создавать и размещать собственные XML-файлы вручную, используя приведённые выше примеры в качестве руководства по форматированию. Для более крупных сайтов и сайтов, которые изменяются чаще, плагины или модули, доступные для большинства CMS, могут автоматизировать обновление XML-файлов.

Заключение

Файл Sitemap – полезный инструмент для передачи поисковым роботам информации о структуре сайта. Используйте это руководство, чтобы понять, как работает карта сайта, как она устроена, как сгенерировать, разместить и проверить файл.

Подписаться на рассылку

Файл sitemap.xml - это инструмент, который позволяет вебмастерам информировать поисковые системы о страницах сайта, доступных к индексации. Также, в XML карте можно указывать дополнительные параметры страниц: дата последнего обновления, частота обновлений и приоритет относительно других страниц. Информация в sitemap.xml может влиять на поведение поискового краулера и, в целом, на процесс индексации новых документов. Sitemap содержит в себе директивы включения страниц в очередь на обход и дополняет robots.txt, содержащий директивы исключения страниц.

В этом руководстве вы найдете ответы на все вопросы, касающиеся использования sitemap.xml.

Нужен ли мне sitemap.xml

Поисковые системы используют sitemap для поиска новых документов на сайте (это могут быть html-документы или медиа-контент), которые недоступны через навигацию, но их необходимо просканировать. Наличие ссылки на документ в sitemap.xml не гарантирует его сканирование или индексацию, но чаще всего файл помогает большим сайтам индексироваться лучше. К тому же, данные из XML карты используются при определении канонических страниц, если это специально не указано в теге rel=canonical.

Sitemap.xml важен для сайтов, где:

• Некоторые разделы недоступны через навигационное меню.
• Имеется множество изолированных страниц или плохо связанных между собой.
• Используются технологии, слабо поддерживаемые поисковыми системами (например, Ajax, Flash или Silverlight).
• Присутствует очень много страниц и есть вероятность, что поисковый краулер пропустит новый контент.

Если это не ваши случаи, то скорей всего sitemap.xml вам не нужен. Для сайтов, где каждая важная для индексации страница доступна в пределах 2х кликов, где для отображения контента не используются технологии JavaScript или Flash, где при необходимости используются канонические и региональные теги, и свежий контент появляется не чаще, чем на сайт заходит робот, в файле sitemap.xml нет необходимости.

Для небольших проектов при наличии проблемы лишь большого уровня вложенности документов, ее легко решить с помощью HTML карты сайта, не прибегая к использованию XML карты. Но если вы решили, что sitemap.xml вам все-таки нужен, то прочитайте это руководство полностью.

Техническая информация

• Sitemap.xml является текстовым файлом формата XML . Однако, поисковые системы также поддерживают текстовый формат (см. следующий раздел).
• Каждый сайтмап может содержать максимум 50 000 адресов и весить не более 50Мб (10Мб для Яндекса).
• Можно использовать gzip-сжатие для уменьшения размера файла sitemap.xml и увеличения скорости его передачи. В таком случае используйте расширение gz (sitemap.xml.gz). При этом, ограничения по весу остаются для несжатых сайтмапов.
• Местоположение файла Sitemap определяет набор URL-адресов, которые можно включить в этот Sitemap. Карта, содержащая адреса страниц всего сайта, должна располагаться в корне. Если сайтмап располагается в папке, то и все URL в этом сайтмапе должны располагаться в этой папке или глубже ().
• Адреса в sitemap.xml должны быть абсолютными.
• Максимальная длина URL - 2048 символов (1024 символа для Яндекса).
• Спецсимволы в URL (типа амперсанда "&" или кавычек) должны маскироваться в HTML-сущности.
• Указанные в карте страницы должны отдавать 200 http-код статуса.
• Перечисленные в карте адреса не должны быть закрыты в файле robots.txt или в meta-robots.
• Sitemap не должен быть закрыт в robots.txt, иначе поисковая система его не просканирует. Сам файл может находиться в индексе, это нормально.

Форматы XML карт

Поисковые системы поддерживают простой текстовый формат карты сайта, где просто списком перечислены URL-адреса страниц без дополнительных параметров. В таком случае файл должен иметь кодировку UTF-8 и иметь расширение .txt .

Также поисковиками поддерживается стандартный XML-протокол . Google дополнительно поддерживает сайтмапы для изображений, видео и новостей.

Пример файла Sitemap, содержащий только один адрес.

https://сайт/!} 2018-06-14 daily 0.9

علامات XML
urlset
عنوان url(مطلوب) - علامة الأصل لكل عنوان URL.
مكان(مطلوب) - يجب أن يكون عنوان URL للمستند مطلقًا.
وزارة الدفاع الماضي- تاريخ آخر تعديل للمستند بتنسيق Datetime.
تغيير- تكرار تغيير الصفحة (دائمًا ، كل ساعة ، يوميًا ، أسبوعيًا ، شهريًا ، سنويًا ، أبدًا). قيمة هذه العلامة هي توصية لمحركات البحث ، وليست أمرًا.
أفضلية- أولوية عنوان URL بالنسبة إلى العناوين الأخرى (من 0 إلى 1) لترتيب الزحف. إذا لم يتم تحديده ، فإن القيمة الافتراضية هي 0.5.

خريطة XML للصور

يقوم بعض المحسِنين بإدراج روابط للصور في ملف sitemap.xml بنفس طريقة الروابط إلى مستندات html. يمكنك القيام بذلك ، ولكن من الأفضل لـ Google استخدام امتداد للبروتوكول القياسي وإرسال معلومات إضافية حول الصور مع عناوين URL. يعد إنشاء خرائط صور XML مفيدًا إذا كانت الصور بحاجة إلى الزحف إليها وفهرستها ، وفي الوقت نفسه ، لا يمكن الوصول إليها مباشرة من قبل الروبوت (على سبيل المثال ، يتم استخدام JavaScript).

مثال على خريطة موقع تحتوي على صفحة واحدة وصور تنتمي إليها

http://example.com/primer.html http://example.com/kartinka.jpg http://example.com/photo.jpg Вид на Балаклаву Севастополь, Крым http://creativecommons.org/licenses/by-nd/3.0/legalcode

علامات XML
الصورة: الصورة(مطلوب) - معلومات عن صورة واحدة. يمكن استخدام 1000 صورة كحد أقصى.
الصورة: loc(مطلوب) - المسار إلى ملف الصورة. إذا تم استخدام CDN ، فمن المقبول الإشارة إلى مجال آخر إذا تم تأكيده في لوحة مشرف الموقع.
تعليق على الصورة- شرح الصورة (قد يحتوي على نص طويل).
عنوان الصورة- عنوان الصورة (نص قصير عادة).
الصورة: الموقع الجغرافي- مكان التصوير.
الصورة: الترخيص- URL ترخيص الصورة. تستخدم للبحث المتقدم عن الصور.

خريطة XML للفيديو

على غرار ملف sitemap الخاص بالصور ، يمتلك Google أيضًا امتدادًا لخريطة موقع الفيديو حيث يمكنك تحديده معلومات مفصلةحول محتوى الفيديو ، مما يؤثر على العرض في البحث عن الفيديو. يلزم وجود ملف Sitemap للفيديو عندما يستخدم الموقع مقاطع فيديو مستضافة محليًا ، وعندما تكون فهرسة مقاطع الفيديو هذه صعبة بسبب التكنولوجيا المستخدمة. إذا كنت تقوم بتضمين مقطع فيديو YouTube على موقعك ، فلن تكون هناك حاجة إلى خريطة موقع الفيديو هنا.

خريطة موقع الأخبار

إذا كان لديك محتوى إخباري على موقعك وتشارك في أخبار Google ، فمن المفيد استخدام خريطة موقع الأخبار حتى تتمكن Google من العثور على أحدث محتوى بشكل أسرع وفهرسة جميع المقالات الإخبارية. في هذه الحالة ، يجب أن يحتوي ملف Sitemap على عناوين الصفحات المنشورة في اليومين الماضيين فقط وألا يحتوي على أكثر من 1000 عنوان URL.

استخدام بطاقات متعددة

إذا لزم الأمر ، يمكنك استخدام عدة خرائط مواقع ، ودمجها في خريطة موقع فهرس واحد. تُستخدم ملفات sitemap.xml المتعددة عندما:

• يستخدم الموقع عدة محركات (CMS).
• يحتوي الموقع على أكثر من 50000 صفحة.
• من الضروري إعداد تتبع خطأ ملائم في الأقسام.

في الحالة الأخيرة ، يكون لكل قسم كبير من الموقع ملف sitemap.xml خاص به ، ويتم إضافتها جميعًا إلى لوحة مشرفي المواقع ، حيث يكون من المناسب معرفة القسم الذي يحتوي على أكبر عدد من الأخطاء (راجع القسم الخاص بالعثور على الأخطاء في خريطة الموقع).

إذا كان لديك ملفان أو أكثر من ملفات Sitemap ، فيجب دمجهما في ملف Sitemap للفهرس ، والذي يبدو مشابهًا لملف Sitemap العادي (باستثناء وجود علامة sitemapindex وعلامات خريطة الموقع بدلاً من urlset و url) ، له قيود مماثلة ويمكن أن يشير فقط إلى خرائط XML عادية (وليس فهرسة).

مثال على فهرس خريطة الموقع:

http://www.example.com/sitemap-blog.xml.gz 2004-10-01 T18: 23: 17 + 00: 00 http://www.example.com/sitemap-webinars.xml.gz 2005-01-01

خريطة الموقع(مطلوب) - يحدد معيار البروتوكول الحالي.
خريطة الموقع(مطلوب) - يحتوي على معلومات حول خريطة موقع معينة.
مكان(إلزامي) - موقع خريطة الموقع (بتنسيق xml أو txt أو rss لـ Google).
وزارة الدفاع الماضي- وقت تغيير خريطة الموقع. يسمح لمحركات البحث باكتشاف عناوين URL الجديدة بسرعة على المواقع الكبيرة.

كيفية إنشاء ملف sitemap.xml

طرق إنشاء خريطة موقع XML:

• أدوات CMS الداخلية.يدعم العديد من أنظمة إدارة المحتوى بالفعل إنشاء خريطة الموقع. لمعرفة ذلك ، اقرأ الوثائق الخاصة بـ CMS ، أو انظر إلى عناصر القائمة في لوحة الإدارة ، أو اتصل بالدعم الفني للمحرك. قم بتحميل ملف https://yoursite.com/sitemap.xml على موقعك ، فقد يكون موجودًا بالفعل ويتم إنشاؤه ديناميكيًا.
• الإضافات الخارجية.إذا لم يكن نظام إدارة المحتوى (CMS) يحتوي على وظيفة إنشاء خريطة الموقع وكان يدعم المكونات الإضافية ، فإن google التي تقوم بإغلاق مشكلة ملف sitemap.xml لمحركك وتثبيتها. في بعض الحالات ، من الضروري الاتصال بالمبرمجين حتى يكتبوا لك ملحقًا مشابهًا.
• نص منفصل على الموقع.بمعرفة بروتوكول مخطط XML والقيود التقنية ، يمكنك إنشاء ملف sitemap.xml بنفسك عن طريق إضافة البرنامج النصي للإنشاء إلى CRON. إذا لم تكن مبرمجًا ، فاستخدم العناصر الأخرى في هذه القائمة.
• مولدات خرائط الموقع.هناك العديد من مولدات sitemap.xml التي ستزحف إلى موقعك وتتيح لك تنزيل الخريطة النهائية. العيب هنا هو أنه في كل مرة تقوم فيها بتحديث الموقع ، يجب عليك إنشاء خريطة الموقع يدويًا.
• موزعي.عادةً ما توفر برامج سطح المكتب المصممة للتحليل الفني للموقع القدرة على تنزيل ملف sitemap.xml الناتج من الصفحات التي تم الزحف إليها. يعمل بشكل مشابه لمولدات خرائط الموقع ، ويعمل محليًا فقط على جهازك.

مولدات خريطة الموقع الشهيرة على الإنترنت

XML-Sitemaps.com

يسمح لك بالحصول على ملف sitemap.xml ببضع نقرات. يدعم تنسيقات XML و HTML و TXT و GZ. إنه مناسب للاستخدام في المواقع الصغيرة (حتى 500 صفحة).

منشئ مشابه ، ولكن مع المزيد من الإعدادات ويسمح لك بإنشاء خريطة تصل إلى 2000 صفحة مجانًا.

يحتوي على العديد من الإعدادات ، ويسمح لك باستيراد عناوين URL من ملف CSV. يمسح ما يصل إلى 500 عنوان URL مجانًا.

ليس له حدود على عدد الصفحات المطلوب مسحها ضوئيًا. ولكن بالنسبة للمواقع الكبيرة ، يمكن أن تتوقف عملية التوليد لعدة عشرات من الدقائق.

البرامج المحلية لإنشاء خريطة موقع XML

مولد خريطة الموقع G-Mapper

نسخة مجانية لسطح المكتب من منشئ خرائط الموقع لنظام التشغيل Windows.

صراخ الضفدع العنكبوت كبار المسئولين الاقتصاديين

أداة إنشاء خريطة موقع مرنة مع العديد من الإعدادات. يكون هذا مفيدًا إذا كنت تستخدم بالفعل ضفدع الشاشة لمهام تحسين محركات البحث الأخرى. بعد فحص الموقع ، استخدم عنصر القائمة خرائط المواقع -> إنشاء خريطة موقع XML.

نتبيك العنكبوت

أقل مرونة ، ولكنه أيضًا حل مناسب لإنشاء ملف sitemap.xml بسرعة. بعد فحص الموقع ، يجب عليك استخدام عنصر القائمة أدوات -> إنشاء ملف Sitemap.

ملف Sitemap هو ملف يحتوي على روابط لصفحات موقع يخبر محركات البحث عن الهيكل الفعلي للموقع. يدعم Yandex تنسيقات XML و TXT. يسمح تنسيق XML بتمرير معلومات إضافية.

ملحوظة. لا تضمن Yandex أن يتم تضمين جميع عناوين URL المحددة في الملف في نتائج البحث.

1. متطلبات الملف
2. أسئلة وأجوبة

متى تحتاج إلى ملف خريطة الموقع؟

يطور Yandex خوارزميات خاصة يتعرف من خلالها روبوت الفهرسة على الموقع. على سبيل المثال ، باستخدام رابط يربط الصفحات الموجودة على نفس الموقع. يمكن وضع الصفحات \ n في دلائل مختلفة لنفس المجال أو في مجالات فرعية.

"}}">داخليو الارتباط الموجود في موقع آخر. "))"> خارجي الروابط - الانتقال من صفحة إلى أخرى. في بعض الأحيان قد يتخطى الروبوت الصفحات. استخدم خريطة الموقع إذا كان موقعك:

عدد كبير من الصفحات

صفحات فرديةبدون روابط التنقل ؛

التعشيش العميق.

تنسيقات Yandex المدعومة

التقييد. لا يدعم Yandex Search إرسال خلاصات RSS و Atom باستخدام ملف Sitemap.

متطلبات الملف

الحد الأقصى لحجم الملف غير المضغوط هو 50 ميغا بايت.

قم باستضافة الملف على نفس المجال مثل الموقع الذي تم إنشاؤه من أجله.

عند الوصول إلى الملف ، يجب أن يعرض الخادم رمز HTTP 200.

كيفية إنشاء ملف وإبلاغ Yandex

إذا لزم الأمر ، يمكنك إزالة المعلومات حول ملف Sitemap.

أسئلة وأجوبة

يتم عرض ملف Sitemap في الخدمة كصفحة مستبعدة بالحالة "تنسيق مستند غير صالح"

يعد عرض ملف Sitemap (بالإضافة إلى ملفات XML الأخرى) كصفحات مستبعدة لأغراض إعلامية فقط ولا يؤثر على فهرسة الموقع أو معالجة ملف Sitemap بأي شكل من الأشكال.

يمكن عرض ملف Sitemap في مجموعة الصفحات المستبعدة ، لأن الروبوت حاول فهرسته كصفحة عادية ، بينما لا تتم فهرسة ملفات تنسيق XML في محرك بحث Yandex ولا يتم تضمينها في نتائج البحث.

حدث خطأ "علامة غير معروفة" أثناء معالجة ملف Sitemap

يمكن أن يحتوي ملف Sitemap على عناصر XML معينة فقط. إذا اكتشف مشرف الموقع عناصر أخرى في الملف (على سبيل المثال ، إشارة إلى إصدار محمول أو متعدد اللغات ، عناوين الصور) ، سيتلقى مشرف الموقع خطأ "علامة غير معروفة". يتجاهل الروبوت العناصر غير المدعومة عند معالجة ملف Sitemap ، بينما يتم أخذ البيانات الواردة من العناصر المدعومة في الاعتبار. لذلك ، ليس من الضروري تغيير ملف خريطة الموقع.

إذا تغير محتوى الملف ، فسوف يستغرق الأمر ما يصل إلى أسبوعين حتى يتم تحديث المعلومات في Webmaster.

ملف Sitemap بالحالة "غير مفهرس"

قد لا تتم فهرسة ملف Sitemap لعدة أسباب:

لقد زحف الروبوت إلى ملف Sitemap مؤخرًا ولم يقم بمعالجته بعد. انتظر أسبوعين. إذا كنت تستخدم ملف فهرس Sitemap مع ملفات متعددة ، فقد تستغرق المعالجة وقتًا أطول من ملف Sitemap واحد.

الموقع لم يكن من قبل للوصول إلى الفهرسة الروبوت. من الضروري انتظار الزيارة التالية للموقع بواسطة الروبوت.

إذا كان الغرض الرئيسي من ملف robots.txt هو منع الفهرسة ، فإن ملف sitemap.xml يؤدي المهام المعاكسة تمامًا. وهي مسؤولة عن تسريع فهرسة الموقع واكتمال فهرسة الموقع.

يخبر ملف Sitemap.xml محرك البحث عن عدد المرات التي يحتاج فيها إلى إعادة فهرسة الصفحات. في هذا الصدد ، تعد خريطة الموقع مهمة بشكل خاص للمواقع ذات المحتوى المحدث بانتظام (بوابات الأخبار ، وما إلى ذلك). بالإضافة إلى ذلك ، يحتوي ملف sitemap.xml على جميع الصفحات المهمة في الموقع بأولويتها.

متطلبات ملف Sitemap

ملف Sitemap هو ملف XML يسرد عناوين URL لموقع الويب ، جنبًا إلى جنب مع البيانات الوصفية المرتبطة بكل عنوان URL (تاريخ آخر تعديل ، وتكرار التغييرات ، وتحديد أولوياته على مستوى الموقع) بحيث يمكن لمحركات البحث أن تكون أكثر ذكاءً الزحف إلى هذا الموقع.

يجب ألا يتجاوز إجمالي عدد ملف sitemap.xml على الموقع 1000 ، بينما يجب ألا يتجاوز عدد الإدخالات (عناوين url) في كل منها 50000 جزء.

إذا كنت بحاجة إلى إدراج أكثر من 50000 عنوان URL ، فيجب عليك إنشاء خرائط مواقع متعددة.

يمكن ضغط ملف Sitemap باستخدام أرشيف gzip لتقليل حجمه. ولكن يجب ألا يتجاوز حجم كل خريطة موقع بصيغة موسعة (غير مضغوطة) 10 ميغا بايت.

لا يجب أن يكون ملف Sitemap بالصيغة xml. يسمح البروتوكول بإنشاء خريطة في شكل مشاركة (RSS أو Atom) أو في شكل بسيط ملف نصيمع تعداد عنوان URL سطرًا بسطر. لكن "خرائط المواقع" هذه إما لا تتضمن جميع عناوين URL الخاصة بالمواقع (في حالة المشاركة) ، أو لا تحمل معلومات مهمة إضافية (تاريخ ووقت تعديل محتوى الصفحة) ، حيث يتم استخدام خرائط المواقع في تحسين محركات البحث.

من خلال توفير طابع زمني لآخر تعديل أنت تسمح لبرامج الزحف لمحركات البحث باسترداد مجموعة فرعية فقط من خرائط المواقع في الفهرس ، مما يعني أن الزاحف يمكنه فقط استرداد تلك الملفات (الصفحات) من موقع تم تعديله منذ تاريخ معين. تتيح لك هذه الآلية لاستخراج الملفات جزئيًا من ملف Sitemap.xml اكتشاف عناوين URL الجديدة بسرعة على المواقع الكبيرة. بالإضافة إلى ذلك ، يتيح لك ذلك تقليل الحمل على كل من الخادم وزاحف محرك البحث. وهم (محركات البحث) مغرمون جدًا بهذا الأخير.

دمج ملف Sitemap مع ملف robots.txt والعلامات الوصفية لبرامج الروبوت

يجب أن تكمل تعليمات ملف sitemap.xml بعضها البعض عند استخدامها بشكل صحيح. يخرج ثلاث قواعد أساسيةتفاعلات هذه التعليمات:

• يجب ألا تتعارض العلامات الوصفية لملفات sitemap.xml و robots.txt و robots مع بعضها البعض ؛
• يجب أيضًا استبعاد جميع الصفحات المستبعدة (المحظورة) في ملف robots.txt والعلامات الوصفية لبرامج الروبوت من ملف sitemap.xml ؛
• يجب تضمين جميع الصفحات القابلة للفهرسة المسموح بها في ملف robots.txt في ملف sitemap.xml

استثناءات من القواعد الثلاث

هناك استثناءات لهذه القواعد الثلاثة. وكالعادة ، ترتبط بصفحات ترقيم الصفحات. بدءًا من الصفحة الثانية وصفحات ترقيم الصفحات الإضافية ، نكتب noindex ، ونتبعها في العلامات الوصفية لبرامج الروبوت ، بينما لا يتم حظر صفحات ترقيم الصفحات من الفهرسة في ملف robots.txt.

قم بتعيين تاريخ ووقت تغيير الصفحة بحيث يكون مساويًا لتاريخ ووقت تغيير صفحة الكتالوج الرئيسية (الصفحة الرئيسية الأولى). من حيث المبدأ ، يمكننا أن نتفق مع هذا.

ينصح محسنو المدرسة القديمة بإضافة الصفحات غير المفهرسة أو التي تم تغييرها فقط إلى ملف sitemap.xls. يجب إزالة الصفحات المفهرسة من خريطة الموقع. لكن من الصعب الموافقة على هذا الرأي. إذا كان هناك حقل آخر نموذج وتم ملؤه بشكل صحيح ، فلا داعي لمثل هذه الرتوش.

المشكلات الرئيسية عند استخدام ملف sitemap.xml

عند التنفيذ ، غالبًا ما واجهت الأخطاء التالية:

1. ملف Sitemap.xml غير متطابق مع صفحات الموقع وخريطة موقع قديمة. تحدث هذه المشكلة عندما لا يتم إنشاء خريطة الموقع ديناميكيًا ، ولكن في بعض الأحيان ، عن طريق تشغيل بعض الخدمات في نظام إدارة المحتوى ، أو حتى عن طريق خدمات الجهات الخارجية. في هذه الحالة ، يظهر الكثير من الصفحات الميتة ، مما يؤدي إلى ظهور خطأ 404 (هذا إذا تم حذف الصفحة فعليًا أو نقلها إلى موقع آخر ، فقد تم تغيير عنوان URL). بالإضافة إلى ذلك ، تتم فهرسة الصفحات الجديدة بشكل أبطأ بكثير ، لأنها ليست في ملف sitemap.xml.
2. الخطأ التالي هو بنية sitemap.xml غير صالحة. يحدث هذا الخطأ ، كقاعدة عامة ، في CMS "مكتوبة ذاتيًا" أو عند استخدام مكونات إضافية غير صحيحة لنظام CMS شائع. يؤدي هذا إلى إنشاء ملف sitemap.xml مع انتهاك للبنية الموضحة في البروتوكول.
3. تعديل هذا الخطأ - عمل غير صحيح مع تاريخ تعديل السجل. من وجهة نظر البروتوكول ، هذا ليس خطأ ، لأن حقل lastmod اختياري. من وجهة نظر مُحسّنات محرّكات البحث ومحركات البحث ، فإن غياب القيمة الصحيحة في هذا المجال (بالتزامن مع التغيير المباشر في المحتوى) يلغي تمامًا أهمية ملف sitemap.xml بأكمله. كما ذكرنا أعلاه ، سيعيد PS فهرسة تلك الصفحات التي تغير حقلها الأخير.ماذا يحدث إذا تغير هذا الحقل في وقت واحد لجميع سجلات (صفحات) الموقع. أي أن تاريخ التعديل هو نفسه لجميع ملفات الموقع. على الأرجح ، لن ينتبه PS إلى خريطة الموقع وستتم إعادة فهرسة الموقع بالطريقة المعتادة، على الرغم من عدم إعادة فهرسة الصفحات العميقة على الإطلاق ، أو إعادة فهرستها لفترة طويلة جدًا. لذلك ، من الضروري إما عدم استخدام حقل lastmod على الإطلاق (وهو أمر سيء) ، أو تعيين تاريخ آخر تغيير كبير في الصفحة ، على سبيل المثال ، عند تغير السعر أو نفاد المنتج أو تغيير الوصف.
4. المجموعة التالية من الأخطاء التي يتم مواجهتها هي أخطاء منطقية ، وينتج عنها انتهاك القواعد الثلاث حول مجموعة ملف robots.txt و sitemap.xml. في هذه الحالة ، يمكنك ملاحظة الضرب المستمر للصفحة في الفهرس والمغادرة الفورية من هناك. ومع ذلك ، لن يتم ملاحظة ذلك إذا كانت هناك علامة وصفية لمنع الفهرسة وإدخال في ملف Sitemap.xml. في هذه الحالة ، لن يقوم الزاحف (الروبوت ، PS spider) الذي يزور الصفحة بفهرسته.
5. حسنًا ، الخطأ الأخير الذي غالبًا ما يتم العثور عليه في المواقع هو وجود "الصفحات المعزولة". هذه صفحات مرتبطة بخريطة الموقع ، لكن لا توجد روابط مباشرة من أي من الصفحات الموجودة على الموقع. غالبًا ما يرجع ذلك إلى حقيقة أن الصفحات تم حذفها "منطقيًا" (على سبيل المثال ، وضعها في سلة المهملات في WordPress) ، وليس ماديًا. يتم ملاحظة ذلك أيضًا في المواقع التي يتم فيها الوصول إلى بطاقات المنتجات على البرامج النصية والمرشحات بطريقة لا تسمح بفهرسة نتائج هذه البرامج النصية. قد تكون هناك أسباب أخرى لظهور مثل هذه الصفحات اليتيمة. كل هذا يقلل من ثقة محركات البحث بالموقع ويعتبر إشارة ترتيب سلبية.

وفقًا للبروتوكول ، بعد تغيير خريطة الموقع ، يمكن إعادة فحص محركات البحث. للقيام بذلك ، تحتاج إلى إنشاء استعلام من النموذج التالي.

ملف Sitemap أو ملف Sitemap هو ملف تم إنشاؤه خصيصًا ويحتوي على قائمة بصفحات الموارد التي يجب فهرستها.

لماذا تحتاج إلى ملف خريطة الموقع

هناك نوعان من ملفات Sitemap يختلفان في الشكل والغرض:

خريطة HTML

يتم تجميعها للمستخدمين لتسهيل التنقل عبر صفحات الموقع. هذا عنصر اختياري ، يمكن إنشاء مثل هذه الخريطة على موقع كبير بتسلسل هرمي معقد لراحة المستخدمين.

خريطة XML

مطلوب لروبوتات البحث ، وهو مهم لـ SEO ، لأنه يساعد الروبوتات على فهرسة صفحات الموارد.وجود هذا الملف يخبر روبوتات البحث عن كيفية تنظيم بنية الموقع. وفقًا لذلك ، تحصل Yandex و Google و Bing ومحركات البحث الأخرى على فرصة لفهرسة المشروع بشكل أفضل.

في هذه المقالة سوف نحلل الخلق خرائط XML.

لماذا تحتاج إلى ملف Sitemap:

1. تسريع عملية الفهرسة الكاملة.
   قد تتخطى برامج الزحف من Google الصفحات التي تم إنشاؤها أو تعديلها مؤخرًا ، وستساعدك الخريطة على التنقل بينها.
2. قدم معلومات إضافية.
   في الخريطة ، تمت الإشارة إلى توصيات إضافية للروبوت: فهي تدون ملاحظات حول أهمية الصفحة وتكرار التحديث وتاريخه.
3. عرض عدد عناوين URL المفهرسة
   هناك حاجة لإشارات ملفات Sitemap ، من بين أشياء أخرى ، لعرض الروابط المفهرسة بتنسيق Search Console.
4. تسريع عملية فك الدُفعات.
   للقيام بذلك ، قم بإنشاء ملف Sitemap مؤقت ، والذي يتضمن الصفحات المراد حذفها. حول هذا الأمر ، يوصي بأن تتأكد من تضمين تاريخ آخر تعديل للصفحات عندما تم تعيين رمز الخطأ 404 لها أو سمة noindex. هذه هي الطريقة التي يعرف بها Google كيفية إعادة الزحف إلى محتوى الموقع. بعد بضعة أشهر ، يمكن إزالة خريطة الموقع المؤقتة هذه.

في الوقت نفسه ، حتى إذا عثر Google على رابط في ملف Sitemap ، ولكنه ليس في التنقل ، فلن يضيف وزناً إليه ولن يقوم بفهرسته. الروابط الموجودة في خريطة الموقع هي توصيات ، أهم شيء هو إنشاء ارتباط مختص يجد فيه روبوت البحث جميع الصفحات الضرورية.

في معظم الحالات ، يكون الربط الخارجي والداخلي المختص للصفحات كافيًا لروبوتات البحث للتعرف على كل محتوى الموقع. لا تحتاج الصفحات المقصودة ومواقع الشركات الصغيرة المكونة من صفحتين وبطاقات العمل المكونة من صفحة واحدة إلى خريطة موقع - سوف يفهم الروبوت الصفحات دون صعوبة. الخرائط مطلوبة للمواقع التي يصعب الزحف إليها ، لذلك يوصى بإنشائها للمشاريع الأخرى.

الخريطة مطلوبة للمواقع ذات الميزات التالية:

• تم إنشاء المشروع مؤخرًا ، ولديه عدد قليل روابط خارجية. في هذه الحالة ، يصعب على روبوت البحث العثور على الموقع.
• تحتوي بنية الموقع على العديد من أرشيفات مستندات الويب غير المرتبطة ببعضها البعض.
• يحتوي المشروع على عدد كبير من الصفحات والأقسام والأقسام الفرعية ؛
• تهيمن الصفحات الديناميكية على الهيكل.
• يحتوي الموقع على محتوى وسائط متعددة. سيتمكن الروبوت من الحصول على معلومات إضافية من ملف Sitemap لإظهارها في نتائج البحث.

قد لا تقوم محركات البحث بفهرسة جميع الصفحات الضرورية لهذه المواقع إذا لم تقدم ملف Sitemap لبرامج الزحف. دعونا نرى كيفية إنشائه.

المعايير الأساسية لإنشاء ملف خريطة الموقع

محركات البحث لها متطلباتها الخاصة لتجميع ملف Sitemap ، والتي يحتاج مشرف الموقع إلى وضعها في الاعتبار.

المتطلبات العامة لخريطة الموقع:

1. يجب ألا يتجاوز عدد عناوين URL في ملف Sitemap 50000. إذا كان هناك المزيد ، فستحتاج إلى إنشاء العديد من ملفات Sitemap المنفصلة ، والتي تتم كتابتها في ملف فهرس Sitemap. لهذا ، يكفي إنشاء عدة ملفات Sitemap منفصلة ، لا يزيد كل منها عن 50 ألف رابط ، وقد يزيد عدد الروابط عن الحد المسموح به. بعد ذلك ، يتم إنشاء ملف Sitemap رئيسي مشترك للعديد من الخرائط.
2. الحجم الأقصى للملف هو 50 ميغا بايت. يمكن تصغير حجم الملف باستخدام الضغط ، ولكن يجب أن يظل حجم الملف غير المضغوط أقل من 50 ميغابايت.
3. يجب أن يكون ملف خريطة الموقع على نفس المجال مثل موقع الويب الذي تم إنشاؤه من أجله.
4. يمكنك استخدام ترميز UTF-8 وكذلك الأحرف والأرقام اللاتينية.
5. للوصول إلى ملف Sitemap ، يجب أن تكون هناك حالة HTTP مع الرمز 200 OK.
6. يجب ألا تكون عناوين URL للجلسات موجودة في ملف Sitemap.
7. يجب أن تحتوي الروابط على نفس بناء الجملة.
8. يتم سرد عناوين URL الأساسية فقط في الخريطة.
9. لا تتعارض الخريطة مع المعلومات الموجودة في ملف robots.txt - إذا تم إغلاق بعض الصفحات في ملف robots.txt من الفهرسة ، فيجب ألا تكون في الخريطة.

يقلق بعض مشرفي المواقع بشأن ترتيب الروابط في الملف ، لكن ممثل Google يقول إن الترتيب غير مهم على الإطلاق ، فالهدف هو وضع الروابط الأساسية الأكثر أهمية في ملف Sitemap.

تنسيقات خريطة الموقع الصالحة

هناك متطلبات خاصة لتنسيق ملف Sitemap. يمكن إنشاء خريطة الموقع كملف XML أو ملف نصي أو عبر RSS و mRSS و Atom 1.0. يشير Yandex إلى أن البحث لا يدعم نقل خلاصات RSS و Atom باستخدام ملف Sitemap. إذا كنت تستهدف محركات بحث مختلفة ، فاستخدم تنسيق XML. قواعد إنشاء ملف موصوفة في المعيار.

علامات الخدمة خريطة الموقع

علامات خريطة الموقع المطلوبة:

• - الحاوية التي تشير إلى معيار البروتوكول ؛
• - родительский тег для каждой записи URL-адреса;
• https://appcube.ru/ar/ - указание URL, начинается с префикса, к примеру, http или https.

Дополнительные теги:

• - частота обновления веб-документа с атрибутами never, always, yearly, monthly и так далее;
• - дата последнего обновления на странице;
• Указание разной важности страниц ресурса от 0,1 до 1, определяет очередность обработки URL на этом сайте. Google его не поддерживает. Приоритет можно дать самым важным страницам и нет смысла указывать высокий приоритет всем ссылкам, тогда тег вообще ни на что не повлияет.

Другие языковые версии сайта указывают с помощью атрибута hreflang .

Пример Карты сайта в формате XML

Sitemap для сайт, если бы он состоял из одной страницы и содержал упомянутые теги, мог бы выглядеть так:

http://www.сайт/ 2016-03-21 daily 0.8

كيف تنشئ وأين تضع ملف Sitemap؟

إذا كنت ترغب في ذلك ، يمكنك إنشاء ملف Sitemap يدويًا ، ولكن هذا شاق جدًا ولا طائل من ورائه - يجب أن يكون ملف Sitemap ديناميكيًا إذا كنت تقوم بتحديث الموقع بانتظام - قم بنشر إدخالات مدونة جديدة ، أو قم بتطوير متجر عبر الإنترنت. من الأفضل إنشاء ملف خريطة الموقع تلقائيًا عن طريق الاتصال بالخدمات خدمات مجانية عبر الإنترنتوالمكونات الإضافية لنظام إدارة المحتوى.

خدمات إنشاء خريطة الموقع