XML Sitemap: Potpuni vodič za korištenje. Izvješće o karti web-mjesta Kako provjeriti datoteku karte web-lokacije u Yandexu

U ovom vodiču ćemo pokriti sljedeća pitanja:

Što je Sitemap?

Ovo je datoteka koja sadrži popis poveznica na sve važne stranice stranice. To jest, ovaj dokument usmjerava tražilice na glavni sadržaj na stranici.

Čemu služi Sitemap?

Sitemap je potreban ako stranica ima problema s indeksiranjem, koji su uzrokovani:
1) veliki broj stranica;
2) nedostatak poveznica (internih ili eksternih) na stranice;
3) duboko gniježđenje na mjestu (zbunjujuća struktura).

HTML vs XML sitemap

Sitemapovi su sljedećih vrsta:

HTML;

Najjednostavnije objašnjenje za razliku između ovih formata je da je XML karta prvenstveno namijenjena tražilicama, a HTML prvenstveno korisnicima.

HTML karta- ovo je samo opći pregled stranice, sadrži samo informacije i stranice koje korisnici trebaju vidjeti. Ako ste na web mjestu i tražite određeni odjeljak, kada odete na HTML Sitemap lako ćete ga pronaći. Iako je ova vrsta karte web-lokacije usmjerena na korisnika, ona također može pomoći u rangiranju vaših tražilica. Ovo je jedan od znakova da vam je stalo do jednostavnosti stranice.

Prilikom sastavljanja HTML karte stranice, važno je uzeti u obzir:

1. Strukturirani sadržaj.

Mapa stranice treba biti jasna i jednostavna za korištenje. Poželjno je da sadrži odjeljke, kategorije, potkategorije itd.

2. Sidra veze.

Protokol XML karte stranica je namijenjena robotima za pretraživanje. XML datoteka sadrži informacije o tome kada je URL zadnji put ažuriran, koliko je važan i koliko često se promjene događaju.

Sitemap se obično sastoji od sljedećih XML oznaka:

Obavezno:
- definira standard protokola i enkapsulira ovu datoteku.
– содержит в себе информацию о URL-адресе (является родительским тегом).
https://appcube.ru/hr/ – содержит абсолютный URL-адрес.

Необязательные:
– указывает дату последнего изменения файла.
– указывает частоту смены файла.
– указывает на значимость документа на сайте. Диапазон значений: от 0,1 до 1,0 (по умолчанию 0,5).

Не устанавливайте для каждого URL-адреса слишком частую смену файла и максимальный приоритет. Если метки частоты и приоритета не отражают реальность, вероятнее всего, поисковые системы будут более склонны игнорировать всю карту XML.

Другие форматы Sitemap

Помимо вышеперечисленных карт сайта, поисковые системы также поддерживают следующие форматы:

Для Google:
— RSS, mRSS и Atom 1.0;
RSS / Atom фиды должны содержать последние обновления вашего сайта. Обычно они небольшие и часто обновляются (что является плюсом).
— Сайты Google.
Для сайтов, созданных на платформе Google Сайты, Sitemap создаётся автоматически, и внести какие-то изменения невозможно.

Для Google и Яндекс:
— текстовый формат (TXT).
Файл должен быть в кодировке UTF-8 и состоять только из URL-адресов.

Требования Google и Яндекса к файлам Sitemap

1. Используйте кодировку UTF-8.
2. Максимальное количество URL – 50 000.
3. Ссылки в сайтмапе должны быть на том же домене, что и файл.

4. Если файл слишком большой, разделите его на несколько и укажите их в файле индекса Sitemap.
5. Ответ сервера при обращении к файлу должен быть 200 ОК.
6. Указывайте только канонические адреса страниц (без GET-параметров и идентификаторов сессий).

1. Максимальный размер – 10 МБ.
2. Поддерживает кириллические URL.

1. Максимальный размер – 50 МБ.
2. Поддерживает только цифры и латинские буквы.

Распространённая ошибка: чтобы уменьшить требования к пропускной способности канала, используют архиватор gzip. Размер сайтмапа должен быть 50 МБ (10 МБ) до сжатия, а не после.

Совет: русские доменные имена можно преобразовать с помощью кодировки Punycode.

Как создать XML Sitemap

1. Чтобы создать карту сайта, в первую очередь нужно определить канонические адреса, которые будут добавлены в файл.

2. Определить, какой формат файла будете использовать.

3. Создать файл можно вручную или, воспользовавшись генератором Sitemap.

Google в своей справке подготовил список онлайн и десктопных, платных и бесплатных генераторов карт сайта. Ознакомиться со всем списком можно, перейдя по ссылке .

Сгенерировать Sitemap проще, чем кажется. Разберём, как сгенерировать сайтмап, на примере деcктопного приложения Majento:

1. Парсим сайт.

2. Переходим в раздел «Сайты» => «Генерировать Sitemap».

3. Сохраняем в нужном нам формате.

4. Карта сайта готова.

Из online-генераторов XML-карты сайта заслуживает внимания XML Sitemap Generator .

Расширенные возможности этого сервера позволяют установить определённые XML-теги, включить/исключить нужные документы.

Исключить ненужные страницы можно и с помощью регулярных выражений.

Google поддерживает расширенный синтаксис для изображений. Для этого вы можете создать отдельную карту сайта для изображений или добавить синтаксис в существующую. Использование расширенного синтаксиса в Sitemap предоставляет поисковой системе дополнительную информацию об изображениях на сайте. Также это может помочь Google обнаружить и проиндексировать изображения, которые он не может найти при сканировании сайта.

Как и в обычной карте сайта, есть обязательные и необязательные XML-теги.

Обязательные:
– аналогично тегу содержит в себе URL изображения и дополнительную информацию.
– URL изображения.

Необязательные:
– подпись к изображению.
– место съёмки фотографии.
– название изображения.
– URL-лицензии изображения.

Ещё один расширенный синтаксис, который поддерживает Google, – XML-карта для видео.

Плюсы добавления XML-тегов для видео:

1) даёт понять Google, какой контент на сайте;
2) даёт возможность предоставить детальное описание к файлу;
3) станет доступным для поиска в Google Видео;
4) в поисковой выдаче будет отображаться заставка видео (может повысить количество переходов из поисковой выдачи).

Карта сайта для видеофайлов состоит из следующих обязательных элементов:

– содержит URL-адрес страницы, на которой размещено видео; если на одной странице размещено более одного видео, не нужно каждый раз создавать тег , достаточно в одном теге несколько раз прописать для каждого видео на странице.
– включает в себя всю информацию о видео.
– URL к миниатюрному изображению (заставке) к видео. Рекомендованные размеры: от 160×90 пикселей до 1920×1080. Форматы изображения: .jpg, .png, or. gif
– заголовок, который должен совпадать с названием страницы, на которой отображается видео.
– описание видео. Должно соответствовать с метаописаниями страницы. Максимальное количество символов – 2048.

Заголовок и описание видео должны быть экранированы или упакованы в блок CDATA.

Со всеми XML-тегами карты сайта для видео можно ознакомиться в справке Google .

Где разместить карту сайта

Распространённые заблуждения о Sitemap

Так как у многих этот файл вызывает трудности и является «тёмным лесом», возникают определённые мифы в отношении карт сайта. Рассмотрим некоторые из них:

– «Включение URL-адреса в файл Sitemap для XML гарантирует, что он будет проиндексирован».
Нет. Важно отметить, что XML-файлы Sitemap – это только рекомендации. Карта сайта XML не гарантирует индексацию поисковыми системами страниц, указанных в файле.

– «Если я удалю URL из XML-карты, он будет удалён из индекса».
Нет. Карта сайта XML не исключает индексацию страниц, не включённых в карту сайта XML.

– «XML-файлы Sitemap трудно создавать и поддерживать»
Нет. Небольшие сайты могут легко создавать и размещать собственные XML-файлы вручную, используя приведённые выше примеры в качестве руководства по форматированию. Для более крупных сайтов и сайтов, которые изменяются чаще, плагины или модули, доступные для большинства CMS, могут автоматизировать обновление XML-файлов.

Заключение

Файл Sitemap – полезный инструмент для передачи поисковым роботам информации о структуре сайта. Используйте это руководство, чтобы понять, как работает карта сайта, как она устроена, как сгенерировать, разместить и проверить файл.

Подписаться на рассылку

Файл sitemap.xml - это инструмент, который позволяет вебмастерам информировать поисковые системы о страницах сайта, доступных к индексации. Также, в XML карте можно указывать дополнительные параметры страниц: дата последнего обновления, частота обновлений и приоритет относительно других страниц. Информация в sitemap.xml может влиять на поведение поискового краулера и, в целом, на процесс индексации новых документов. Sitemap содержит в себе директивы включения страниц в очередь на обход и дополняет robots.txt, содержащий директивы исключения страниц.

В этом руководстве вы найдете ответы на все вопросы, касающиеся использования sitemap.xml.

Нужен ли мне sitemap.xml

Поисковые системы используют sitemap для поиска новых документов на сайте (это могут быть html-документы или медиа-контент), которые недоступны через навигацию, но их необходимо просканировать. Наличие ссылки на документ в sitemap.xml не гарантирует его сканирование или индексацию, но чаще всего файл помогает большим сайтам индексироваться лучше. К тому же, данные из XML карты используются при определении канонических страниц, если это специально не указано в теге rel=canonical.

Sitemap.xml важен для сайтов, где:

Некоторые разделы недоступны через навигационное меню.
Имеется множество изолированных страниц или плохо связанных между собой.
Используются технологии, слабо поддерживаемые поисковыми системами (например, Ajax, Flash или Silverlight).
Присутствует очень много страниц и есть вероятность, что поисковый краулер пропустит новый контент.

Если это не ваши случаи, то скорей всего sitemap.xml вам не нужен. Для сайтов, где каждая важная для индексации страница доступна в пределах 2х кликов, где для отображения контента не используются технологии JavaScript или Flash, где при необходимости используются канонические и региональные теги, и свежий контент появляется не чаще, чем на сайт заходит робот, в файле sitemap.xml нет необходимости.

Для небольших проектов при наличии проблемы лишь большого уровня вложенности документов, ее легко решить с помощью HTML карты сайта, не прибегая к использованию XML карты. Но если вы решили, что sitemap.xml вам все-таки нужен, то прочитайте это руководство полностью.

Техническая информация

Sitemap.xml является текстовым файлом формата XML . Однако, поисковые системы также поддерживают текстовый формат (см. следующий раздел).
Каждый сайтмап может содержать максимум 50 000 адресов и весить не более 50Мб (10Мб для Яндекса).
Можно использовать gzip-сжатие для уменьшения размера файла sitemap.xml и увеличения скорости его передачи. В таком случае используйте расширение gz (sitemap.xml.gz). При этом, ограничения по весу остаются для несжатых сайтмапов.
Местоположение файла Sitemap определяет набор URL-адресов, которые можно включить в этот Sitemap. Карта, содержащая адреса страниц всего сайта, должна располагаться в корне. Если сайтмап располагается в папке, то и все URL в этом сайтмапе должны располагаться в этой папке или глубже ().
Адреса в sitemap.xml должны быть абсолютными.
Максимальная длина URL - 2048 символов (1024 символа для Яндекса).
Спецсимволы в URL (типа амперсанда "&" или кавычек) должны маскироваться в HTML-сущности.
Указанные в карте страницы должны отдавать 200 http-код статуса.
Перечисленные в карте адреса не должны быть закрыты в файле robots.txt или в meta-robots.
Sitemap не должен быть закрыт в robots.txt, иначе поисковая система его не просканирует. Сам файл может находиться в индексе, это нормально.

Форматы XML карт

Поисковые системы поддерживают простой текстовый формат карты сайта, где просто списком перечислены URL-адреса страниц без дополнительных параметров. В таком случае файл должен иметь кодировку UTF-8 и иметь расширение .txt .

Также поисковиками поддерживается стандартный XML-протокол . Google дополнительно поддерживает сайтмапы для изображений, видео и новостей.

Пример файла Sitemap, содержащий только один адрес.

https://сайт/!} 2018-06-14 daily 0.9

XML oznake
urlset
url(obavezno) - roditeljska oznaka za svaki URL.
lok(obavezno) - URL dokumenta mora biti apsolutan.
lastmod- datum posljednje izmjene dokumenta u formatu Datum i vrijeme.
promjena frekvencije- učestalost izmjena stranica (uvijek, po satu, dnevno, tjedno, mjesečno, godišnje, nikad). Značenje ove oznake je preporuka tražilicama, a ne naredba.
prioritet- prioritet URL-a u odnosu na druge adrese (od 0 do 1) za narudžbu indeksiranja. Ako nije navedeno, zadana vrijednost je 0,5.

XML karta za slike

Neki SEO-i umeću veze na slike u sitemap.xml na isti način kao i veze na html dokumente. To možete učiniti, ali je bolje da Google koristi proširenje standardnog protokola i šalje dodatne informacije o slikama zajedno s urlovima. Korisno je izraditi XML mape slika ako slike treba indeksirati i indeksirati, a u isto vrijeme nisu izravno dostupne botu (na primjer, koristi se JavaScript).

Primjer karte web-lokacije koja sadrži jednu stranicu i povezane slike

http://example.com/primer.html http://example.com/kartinka.jpg http://example.com/photo.jpg Вид на Балаклаву Севастополь, Крым http://creativecommons.org/licenses/by-nd/3.0/legalcode

XML oznake
slika: slika(obavezno) - informacije o jednoj slici. Može se koristiti najviše 1000 slika.
slika: lok(obavezno) - put do slikovne datoteke. Ako se koristi CDN, dopušteno je upućivanje na drugu domenu ako je to potvrđeno na panelu za webmastere.
slika: natpis- natpis slike (može sadržavati dugi tekst).
slika: naslov- naslov slike (obično kratak tekst).
slika: geo_location- mjesto snimanja.
slika: licenca- URL licence za sliku. Koristi se u naprednom pretraživanju slika.

XML karta za video

Slično karti za slike, Google također ima proširenje za video sitemap gdje možete odrediti detaljne informacije o videosadržaju, koji utječe na prikaz u pretraživanju videa. Video Sitemap je neophodan kada stranica koristi video zapise koji se nalaze lokalno, a kada je indeksiranje tih videozapisa teško zbog korištenih tehnologija. Ako ugradite YouTube video na svoju web stranicu, tada video-mapa web mjesta ovdje nije potrebna.

Sitemap vijesti

Ako vaša web-lokacija ima sadržaj vijesti i član je Google News-a, korisno je koristiti Sitemap vijesti kako bi Google mogao brže pronaći vaš najnoviji sadržaj i indeksirati sve članke vijesti. U tom slučaju, Sitemap bi trebao sadržavati samo URL-ove stranica objavljenih u posljednja 2 dana i ne smije sadržavati više od 1000 URL-ova.

Korištenje više kartica

Ako je potrebno, možete koristiti više karata web-mjesta, kombinirajući ih u jednu indeksnu kartu web-lokacije. Nekoliko sitemap.xml se koristi kada:

Stranica koristi nekoliko motora (CMS).
Stranica ima više od 50.000 stranica.
Morate postaviti praktično praćenje pogrešaka u odjeljcima.

U potonjem slučaju, svaki veliki dio stranice ima svoj sitemap.xml i svi se dodaju na ploču za webmastere, gdje je prikladno promatrati koji od odjeljaka ima najviše pogrešaka (pogledajte odjeljak o pronalaženju pogrešaka u karti web-mjesta).

Ako imate 2 ili više karata web-mjesta, one se moraju kombinirati u indeksnu kartu web-lokacije, koja izgleda isto kao i obična (osim prisutnosti oznaka sitemapindex i sitemap umjesto urlset-a i url-a), ima slična ograničenja i može povezivati samo na obične XML karte (neindeksirane) ...

Primjer indeksa Sitemapa:

http://www.example.com/sitemap-blog.xml.gz 2004-10-01T18: 23:17 + 00:00 http://www.example.com/sitemap-webinars.xml.gz 2005-01-01

sitemapindex(obavezno) - Određuje standard trenutnog protokola.
karta web mjesta(obavezno) - sadrži informacije o pojedinačnoj karti web-lokacije.
lok(obavezno) - lokacija karte web-lokacije (xml, txt ili rss format za Google).
lastmod- vrijeme promjene karte web mjesta. Omogućuje tražilicama da brzo otkriju nove URL-ove na velikim web-lokacijama.

Kako napraviti sitemap.xml

Metode za izradu XML Sitemapa:

Interni CMS sadržaji. Mnogi CMS već podržavaju izradu karte web stranice. Da biste saznali, pročitajte dokumentaciju za svoj CMS, pogledajte stavke izbornika na administrativnoj ploči ili se obratite tehničkoj podršci motora. Učitajte datoteku https: //yoursite.com/sitemap.xml na svoju stranicu, možda već postoji i dinamički se generira.
Vanjski dodaci. Ako CMS nema funkciju generiranja karte web-lokacije, a podržava dodatke, google koji dodatak zatvara problem sitemap.xml za vaš motor i instalirajte ga. U nekim slučajevima morate kontaktirati programere da vam napišu sličan dodatak.
Zasebna skripta na web mjestu. Poznavajući protokol XML karte i tehnička ograničenja, možete sami stvoriti sitemap.xml dodavanjem skripte za generiranje u CRON. Ako niste programer, koristite ostale stavke na ovom popisu.
Generatori Sitemapa. Postoji mnogo generatora sitemap.xml koji indeksiraju vašu stranicu i preuzimaju gotovu kartu. Nedostatak je u tome što svaki put kada se stranica ažurira, karta web-mjesta mora biti ručno generirana.
Parseri. Programi za stolna računala dizajnirani za tehničku analizu web-mjesta obično pružaju priliku za preuzimanje sitemap.xml generiranog s indeksiranih stranica. Radi slično kao generatori karata web-mjesta, samo radi lokalno na vašem računalu.

Popularni online generatori karata web stranica

XML-Sitemaps.com

Omogućuje vam da dobijete sitemap.xml u nekoliko klikova. Podržava XML, HTML, TXT i GZ formate. Prikladan je za korištenje za male stranice (do 500 stranica).

Sličan generator, ali ima malo više postavki i omogućuje vam da besplatno izradite kartu do 2000 stranica.

Ima mnogo postavki, omogućuje vam uvoz URL-ova iz CSV datoteke. Skenira do 500 URL-ova besplatno.

Nema ograničenja u broju stranica za skeniranje. Ali za velika mjesta, proces generiranja može se zamrznuti na nekoliko desetaka minuta.

Lokalni programi za generiranje XML Sitemapa

G-Mapper Sitemap Generator

Besplatna desktop verzija generatora karte web-lokacije za Windows.

Screaming Frog SEO Spider

Fleksibilni alat za generiranje karte web-lokacije s mnogim postavkama. Zgodno ako već koristite screen frog za druge SEO zadatke. Nakon indeksiranja stranice, koristite stavku izbornika Sitemap -> Create XML Sitemap.

Netpeak pauk

Manje fleksibilno, ali i zgodno rješenje za brzo generiranje sitemap.xml. Nakon indeksiranja stranice, trebate koristiti stavku izbornika Alati -> Generiraj Sitemap.

Sitemap je datoteka s poveznicama na stranice web-mjesta koja obavještava tražilice o trenutnoj strukturi web-mjesta. Yandex podržava XML i TXT formate. XML format omogućuje prijenos dodatnih informacija.

Bilješka. Yandex ne jamči da će svi URL-ovi navedeni u datoteci biti uključeni u rezultate pretraživanja.

Zahtjevi za datoteke
Pitanja i odgovori

Kada vam treba Sitemap?

Yandex razvija posebne algoritme pomoću kojih robot za indeksiranje uči o web mjestu. Na primjer korištenjem Poveznica koja povezuje stranice jedne stranice. Stranice se mogu \ n nalaziti u različitim imenicima iste domene ili na poddomenama.

"}}">unutarnje i Veza koja se nalazi na drugom mjestu. "))"> vanjski linkovi - prelazak s jedne stranice na drugu. Ponekad robot može preskočiti stranice. Koristite Sitemap ako vaša stranica:

veliki broj stranica;

odvojene stranice nema navigacijskih veza;

duboko gniježđenje.

Formati koje podržava Yandex

Ograničenje. Yandex Search ne podržava slanje RSS i Atom feedova pomoću datoteke Sitemap.

Zahtjevi za datoteke

Maksimalna veličina nekomprimirane datoteke je 50 MB.

Postavite datoteku na istu domenu kao i stranica za koju je stvorena.

Prilikom pristupa datoteci, poslužitelj bi trebao vratiti HTTP 200 kod.

Kako stvoriti datoteku i prijaviti je Yandexu

Po potrebi možete ukloniti podatke iz Sitemapa.

Pitanja i odgovori

Sitemap se u servisu prikazuje kao isključena stranica sa statusom "Nevažeći format dokumenta"

Prikaz Sitemapa (kao i drugih XML datoteka) kao isključenih stranica je samo u informativne svrhe i ni na koji način ne utječe na indeksiranje web-mjesta ili obradu Sitemapa.

Datoteka Sitemapa može se prikazati u skupini isključenih stranica, jer ju je robot pokušao indeksirati kao običnu stranicu, dok XML datoteke nisu indeksirane u tražilici Yandex i nisu uključene u rezultate pretraživanja.

Došlo je do pogreške "Nepoznata oznaka" tijekom obrade Sitemapa

Sitemap može sadržavati samo određene XML elemente. Ako webmaster otkrije druge elemente u datoteci (na primjer, naznaku mobilne ili višejezične verzije, adrese slika), webmaster će prikazati pogrešku "Nepoznata oznaka". Nepodržane elemente robot ignorira prilikom obrade Sitemapa, dok se podaci iz podržanih elemenata uzimaju u obzir. Stoga nije potrebno mijenjati kartu web-stranice.

Ako se sadržaj datoteke promijeni, bit će potrebno do dva tjedna da se ažuriraju informacije u Webmasteru.

Datoteka Sitemapa ima status "Nije indeksirano"

Datoteka karte web-lokacije možda neće biti indeksirana iz nekoliko razloga:

Robot je nedavno indeksirao kartu web-lokacije i još je nije obradio. Pričekajte dva tjedna. Ako koristite indeksnu datoteku karte web-lokacije s više datoteka, njihova obrada može potrajati dulje od jedne karte web-lokacije.

Stranica je prethodno bila nedostupna robotu za indeksiranje. Morate pričekati sljedeći posjet stranici robota.

Ako je glavna svrha robots.txt zabraniti indeksiranje, onda sitemap.xml sitemap obavlja upravo suprotne zadatke. Ona je odgovorna za ubrzanje indeksiranja stranica i potpunost indeksiranja stranica.

Sitemap.xml govori tražilici učestalost kojom je potrebno ponovno indeksirati stranice. S tim u vezi, sitemap je posebno važan za stranice s redovito ažuriranim sadržajem (portali s vijestima i sl.). Osim toga, sitemap.xml sadrži sve važne stranice stranice s naznakom njihovog prioriteta.

Zahtjevi za Sitemap

Mapa web-mjesta je XML datoteka koja navodi URL-ove web-mjesta u kombinaciji s metapodacima povezanim sa svakim URL-om (datum zadnje izmjene; učestalost promjene; prioritet na razini web-mjesta) tako da tražilice mogu inteligentnije indeksirati ovu web-lokaciju.

Ukupan broj sitemap.xml na stranici ne bi trebao biti veći od 1000, dok broj unosa (url-ova) u svakom ne bi trebao biti veći od 50.000.

Ako trebate navesti više od 50.000 URL-ova, trebali biste izraditi više karata web-mjesta.

Sitemap se može komprimirati pomoću gzip arhivatora kako bi se smanjila njegova veličina. Ali veličina svake karte web-lokacije u proširenom (otpakiranom) obliku ne smije prelaziti 10 megabajta.

Sitemap ne mora biti u obrascu xml datoteku... Protokol omogućuje generiranje karte u obliku sindikacije (RSS ili Atom) ili u obliku jednostavnog tekstualnu datoteku s popisom URL-a redak po red. Ali takve "sitemapove" ili ne uključuju sve URL-ove web-mjesta (u slučaju sindikacije), ili ne sadrže dodatne važne informacije (datum i vrijeme izmjene sadržaja stranice), zapravo, radi kojih se karte web-lokacija koriste u SEO-u .

Davanjem vremenske oznake posljednje promjene Dopuštate alatima za indeksiranje tražilice da dohvate samo podskup Sitemapova u indeksu, to jest, alat za indeksiranje može dohvatiti samo one datoteke web-mjesta (stranice) koje su izmijenjene nakon određenog datuma. Ovaj mehanizam za djelomično izdvajanje datoteka iz Sitemap.xml omogućuje vam brzo otkrivanje novih URL-ova na velikim web-mjestima. Osim toga, omogućuje vam da smanjite opterećenje i poslužitelja i alata za indeksiranje tražilice. I oni (tražilice) jako vole ovo posljednje.

Kombiniranje karte web-lokacije s robots.txt i robots meta oznakama

Upute sitemap.xml, kada se koriste ispravno, trebale bi se nadopunjavati. Postoji tri najvažnija pravila interakcije ovih uputa:

sitemap.xml, robots.txt i robots meta oznake ne bi trebale biti u suprotnosti jedna s drugom;
sve stranice isključene (blokirane) u robots.txt i robots meta tagovima također treba izuzeti iz sitemap.xml;
sve indeksirane stranice koje dozvoljava robots.txt moraju biti sadržane u sitemap.xml

Iznimke od tri pravila

Postoje i iznimke od ova tri pravila. I, kao i uvijek, povezani su sa stranicama s paginacijom. Počevši od druge i dalje na stranici paginacije, registriramo noindex, slijedimo u robots meta tagovima, dok se stranice paginacije ne zatvaraju od indeksiranja u robots.txt.

Postavite datum i vrijeme promjene stranice da budu jednaki datumu i vremenu promjene glavne (prve, glavne stranice) stranice kataloga. U principu se s ovim može složiti.

Old school optimizatori savjetuju dodavanje samo neindeksiranih ili promijenjenih stranica u datoteku sitemap.xls. Stranice uključene u indeks treba ukloniti iz karte web-lokacije. Ali s ovim mišljenjem već se teže složiti. Ako postoji polje lastmod i ono je ispravno popunjeno, nema potrebe za takvim užicima.

Glavni problemi pri korištenju sitemap.xml

Prilikom izvođenja najčešće sam nailazio na sljedeće greške:

Nedosljednost sitemap.xml sa stranicama web-mjesta, zastarjela karta web-lokacije. Ovaj problem nastaje kada se karta web-lokacije ne generira dinamički, već povremeno, pokretanjem neke usluge u CMS-u, ili čak od strane usluga treće strane. U ovom slučaju pojavljuje se puno mrtvih stranica, što daje 404 pogreške (ovo je ako je stranica fizički obrisana ili premještena na drugo mjesto, URL je promijenjen). Osim toga, nove stranice se indeksiraju puno sporije, jer se ne nalaze u sitemap.xml.
Sljedeća pogreška je nevažeća struktura sitemap.xml. Ova se pogreška obično javlja na "samopisnom" CMS-u ili kada koristite pogrešne dodatke za popularni CMS. Time se generira datoteka sitemap.xml koja krši strukturu opisanu protokolom.
Promjena ove pogreške je netočno rukovanje datumom izmjene zapisa. Sa stajališta protokola, ovo nije bug, jer polje lastmod nije obavezno. Sa stajališta SEO-a i tražilica, nepostojanje točne vrijednosti u ovom polju (koincidira s izravnom promjenom sadržaja) u potpunosti negira značaj cijele datoteke sitemap.xml. Kao što je gore spomenuto, tražilice će ponovno indeksirati te stranice čije se polje lastmod promijenilo Što se događa ako se ovo polje promijeni istovremeno za sve zapise (stranice) stranice. To jest, datum izmjene je isti za sve datoteke web-mjesta. Najvjerojatnije tražilice neće obratiti pozornost na kartu web-lokacije i stranica će biti ponovno indeksirana uobičajeni način, dok se duboko locirane stranice ili uopće ne reindeksiraju ili će se reindeksirati jako dugo. Dakle, ne smijete uopće koristiti polje lastmod (što je loše) ili postaviti datum posljednje značajne promjene stranice , na primjer, kada se promijenila cijena ili je proizvod završio ili se promijenio opis ...
Sljedeća skupina pogrešaka su one logične, uzrokovane kršenjem tri pravila o kombiniranju robots.txt i sitemap.xml. U tom slučaju možete primijetiti konstantan pogodak stranice u indeksu i trenutni odlazak odatle. Međutim, to se neće primijetiti ako postoji meta oznaka noindex i unos u Sitemap.xml. U tom slučaju, indeks (robot, PS spider) koji ulazi na stranicu neće je indeksirati.
Pa, i posljednja pogreška koja se često događa na stranicama je prisutnost "stranica bez roditelja". To su stranice na koje postoji poveznica s karte web mjesta, ali ne postoji niti jedna izravna poveznica s bilo koje stranice na stranici. To je često zbog činjenice da su stranice izbrisane “logično” (na primjer, stavljene su u smeće u WordPressu), a ne fizički. To se također primjećuje na stranicama gdje se pristup karticama proizvoda vrši pomoću skripti i filtara na način koji ne dopušta indeksiranje rezultata tih skripti. Mogu postojati i drugi razlozi za pojavu takvih stranica bez roditelja. Sve to smanjuje povjerenje tražilica prema stranici i predstavlja negativan signal za rangiranje.

Prema protokolu, nakon promjene karte web stranice možete pingati tražilice. Da biste to učinili, trebate kreirati upit sljedećeg tipa.

Sitemap ili Sitemap je posebno kreirana datoteka s popisom stranica resursa koje je potrebno indeksirati.

Zašto vam treba Sitemap

Postoje dvije vrste Sitemapa koje se razlikuju po formatu i namjeni:

HTML karta

Sastavljen je za korisnike kako bi im olakšao navigaciju stranicama stranice. Ovo je neobavezni element, takva se karta može sastaviti na velikom web mjestu sa složenom hijerarhijom za praktičnost korisnika.

XML karta

Neophodan je za botove za pretraživanje, važan je za SEO, jer pomaže botovima da indeksiraju stranice nekog resursa.Prisutnost ove datoteke govori robotima za pretraživanje kako je točno organizirana struktura stranice. Sukladno tome, Yandex, Google, Bing i druge tražilice dobivaju priliku bolje indeksirati projekt.

U ovom ćemo članku analizirati stvaranje XML karte.

Za što je mapa stranice:

Ubrzajte cijeli proces indeksiranja.
Googleovi alati za indeksiranje mogu preskočiti nedavno izrađene ili izmijenjene stranice, a Karta će im pomoći u navigaciji.
Navedite dodatne informacije.
Dodatne preporuke za robota navedene su na karti: bilježe važnost stranice, učestalost i datum ažuriranja.
Prikažite broj indeksiranih URL-ova
Signali iz Sitemapa također su potrebni za prikaz indeksiranih veza Search Console.
Ubrzajte proces grupnog deindeksiranja.
Da biste to učinili, izradite privremenu kartu web-lokacije koja uključuje stranice koje treba izbrisati. Pri tome preporučuje da svakako navedete datum posljednje izmjene stranica, kada im je dodijeljen kod pogreške 404 ili atribut noindex. To će reći Googleu da ponovno indeksira sadržaj web-mjesta. Nakon nekoliko mjeseci, ovaj privremeni sitemap može se ukloniti.

Istodobno, čak i ako Google pronađe poveznicu u Sitemapu, ali je nema u navigaciji, neće joj dati nikakvu težinu i indeks. Linkovi u Sitemapu su preporuke, najvažnije je stvoriti kompetentnu, u kojoj će robot za pretraživanje pronaći sve potrebne stranice.

U većini slučajeva dovoljno je kompetentno vanjsko i interno povezivanje stranica da roboti za pretraživanje saznaju o svim sadržajima stranice. Odredišne stranice, male korporativne stranice od nekoliko stranica, posjetnice na jednoj stranici ne trebaju sitemap - bot će bez poteškoća razumjeti stranice. Karte su potrebne za stranice koje je teško indeksirati, pa se preporuča izraditi ih za druge projekte.

Karta je svakako potrebna za stranice sa sljedećim karakteristikama:

Projekt je nedavno stvoren, ima malo vanjske poveznice... U ovom slučaju, robotu za pretraživanje je teže pronaći web-mjesto.
U strukturi stranice postoji mnogo arhiva web dokumenata koji nisu međusobno povezani.
Projekt ima veliki broj stranica, odjeljaka i pododjeljaka;
Strukturom dominiraju dinamičke stranice.
Stranica ima multimedijalni sadržaj. Bot će moći dobiti dodatne informacije iz Sitemapa za prikaz u rezultatima pretraživanja.

Tražilice možda neće indeksirati sve potrebne stranice takvih web-mjesta ako alatima za indeksiranje ne ponude datoteku Sitemap. Pogledajmo kako ga stvoriti.

Osnovni kriteriji za izradu Sitemapa

Tražilice imaju svoje zahtjeve za pripremu Sitemapa koje webmaster mora imati na umu.

Opći zahtjevi za Sitemap:

Broj URL-ova u datoteci Sitemapa ne smije biti veći od 50 tisuća. Ako ih ima više, potrebno je izraditi nekoliko zasebnih mapa web stranica koje se registriraju u indeksnoj datoteci Sitemap. Za to je dovoljno stvoriti nekoliko zasebnih datoteka Sitemapa, svaka ne više od 50 tisuća veza, a ukupan broj veza može premašiti ograničenje. Nakon toga se stvara zajednička nadređena datoteka Sitemapa za nekoliko karata.
Maksimalna veličina datoteke je 50 MB. Datoteka se može smanjiti pomoću kompresije, ali i dalje mora biti manja od 50 MB nekomprimirana.
Sitemap mora biti na istoj domeni kao i web stranica za koju je stvorena.
Možete koristiti UTF-8 kodiranje, kao i latinična slova i brojeve.
da biste pristupili datoteci Sitemapa, mora postojati HTTP status s kodom 200 OK.
Identifikatori URL-a sesije ne bi trebali biti u Sitemapu.
Veze moraju imati istu sintaksu.
Karta sadrži samo kanonske URL-ove.
Karta nije u sukobu s informacijama u robots.txt - ako su neke stranice u robots.txt zatvorene od indeksiranja, onda ne bi trebale biti na karti.

Neki webmasteri su zabrinuti zbog redoslijeda poveznica u datoteci, ali Googleov predstavnik kaže da redoslijed uopće nije bitan, najvažnije je staviti najvažnije kanonske veze u Sitemap.

Prihvatljivi formati Sitemapa

Postoji poseban zahtjev za format datoteke Sitemap. Sitemap možete izraditi kao XML datoteku, tekstualnu datoteku ili putem RSS-a, mRSS-a i Atoma 1.0. Yandex ističe da pretraživanje ne podržava prijenos RSS i Atom feedova pomoću Sitemapa. Ako ciljate različite tražilice, koristite XML format. Pravila za stvaranje datoteke opisana su u standardu.

Oznake karte web-lokacije usluge

Obavezne oznake Sitemapa:

- spremnik s naznakom standarda protokola;
- родительский тег для каждой записи URL-адреса;
https://appcube.ru/hr/ - указание URL, начинается с префикса, к примеру, http или https.

Дополнительные теги:

- частота обновления веб-документа с атрибутами never, always, yearly, monthly и так далее;
- дата последнего обновления на странице;
Указание разной важности страниц ресурса от 0,1 до 1, определяет очередность обработки URL на этом сайте. Google его не поддерживает. Приоритет можно дать самым важным страницам и нет смысла указывать высокий приоритет всем ссылкам, тогда тег вообще ни на что не повлияет.

Другие языковые версии сайта указывают с помощью атрибута hreflang .

Пример Карты сайта в формате XML

Sitemap для сайт, если бы он состоял из одной страницы и содержал упомянутые теги, мог бы выглядеть так:

http://www.сайт/ 2016-03-21 daily 0.8

Kako izraditi i gdje postaviti sitemap?

Ako želite, možete izraditi Sitemap ručno, ali to je previše naporno i besmisleno - Sitemap bi trebao biti dinamičan ako redovito ažurirate stranicu - objavljujete nove unose na blogu, razvijate internetsku trgovinu. Bolje je automatski izraditi kartu web-mjesta kontaktiranjem servisa besplatne online usluge i dodaci za CMS.