Zemljevid spletnega mesta XML: Popoln vodnik za uporabo. Poročilo o zemljevidu mesta Kako preveriti datoteko zemljevida mesta v Yandexu

V tem priročniku bomo obravnavali naslednja vprašanja:

Kaj je zemljevid spletnega mesta?

To je datoteka, ki vsebuje seznam povezav do vseh pomembnih strani spletnega mesta. Se pravi, ta dokument usmerja Iskalniki na glavno vsebino na spletnem mestu.

Čemu je zemljevid spletnega mesta?

Zemljevid mesta je potreben, če ima spletno mesto težave z indeksiranjem, ki so posledica:
1) veliko število strani;
2) pomanjkanje povezav (notranjih ali zunanjih) do strani;
3) globoko gnezdenje na mestu (zmedena struktura).

HTML vs XML zemljevid spletnega mesta

Zemljevidi spletnih mest so naslednjih vrst:

HTML;

Najenostavnejša razlaga za razliko med tema formatoma je, da je zemljevid XML predvsem za iskalnike, medtem ko je HTML za uporabnike.

Zemljevid HTML- to je le splošen pregled spletnega mesta, vsebuje samo informacije in strani, ki si jih morajo uporabniki ogledati. Če ste na spletnem mestu in iščete določen razdelek, ga boste zlahka našli, ko greste v HTML zemljevida mesta. Čeprav je ta vrsta zemljevida spletnega mesta osredotočena na uporabnike, lahko pomaga tudi pri uvrstitvi v iskalnik. To je eden od znakov, da vam je mar za prijaznost spletnega mesta do uporabnika.

Pri sestavljanju zemljevida spletnega mesta HTML je pomembno upoštevati:

1. Strukturirana vsebina.

Zemljevid spletnega mesta mora biti jasen in uporabniku prijazen. Zaželeno je, da vključuje razdelke, kategorije, podkategorije itd.

2. Sidra povezav.

Protokol Zemljevidi XML stran je namenjena iskalnim robotom. Datoteka XML vsebuje informacije o tem, kdaj je bil URL nazadnje posodobljen, kako pomemben je in kako pogosto pride do sprememb.

Običajno je zemljevid mesta sestavljen iz naslednjih oznak XML:

Obvezno:
- definira standard protokola in inkapsulira to datoteko.
– содержит в себе информацию о URL-адресе (является родительским тегом).
https://appcube.ru/sl/ – содержит абсолютный URL-адрес.

Необязательные:
– указывает дату последнего изменения файла.
– указывает частоту смены файла.
– указывает на значимость документа на сайте. Диапазон значений: от 0,1 до 1,0 (по умолчанию 0,5).

Не устанавливайте для каждого URL-адреса слишком частую смену файла и максимальный приоритет. Если метки частоты и приоритета не отражают реальность, вероятнее всего, поисковые системы будут более склонны игнорировать всю карту XML.

Другие форматы Sitemap

Помимо вышеперечисленных карт сайта, поисковые системы также поддерживают следующие форматы:

Для Google:
— RSS, mRSS и Atom 1.0;
RSS / Atom фиды должны содержать последние обновления вашего сайта. Обычно они небольшие и часто обновляются (что является плюсом).
— Сайты Google.
Для сайтов, созданных на платформе Google Сайты, Sitemap создаётся автоматически, и внести какие-то изменения невозможно.

Для Google и Яндекс:
— текстовый формат (TXT).
Файл должен быть в кодировке UTF-8 и состоять только из URL-адресов.

Требования Google и Яндекса к файлам Sitemap

1. Используйте кодировку UTF-8.
2. Максимальное количество URL – 50 000.
3. Ссылки в сайтмапе должны быть на том же домене, что и файл.

4. Если файл слишком большой, разделите его на несколько и укажите их в файле индекса Sitemap.
5. Ответ сервера при обращении к файлу должен быть 200 ОК.
6. Указывайте только канонические адреса страниц (без GET-параметров и идентификаторов сессий).

1. Максимальный размер – 10 МБ.
2. Поддерживает кириллические URL.

1. Максимальный размер – 50 МБ.
2. Поддерживает только цифры и латинские буквы.

Распространённая ошибка: чтобы уменьшить требования к пропускной способности канала, используют архиватор gzip. Размер сайтмапа должен быть 50 МБ (10 МБ) до сжатия, а не после.

Совет: русские доменные имена можно преобразовать с помощью кодировки Punycode.

Как создать XML Sitemap

1. Чтобы создать карту сайта, в первую очередь нужно определить канонические адреса, которые будут добавлены в файл.

2. Определить, какой формат файла будете использовать.

3. Создать файл можно вручную или, воспользовавшись генератором Sitemap.

Google в своей справке подготовил список онлайн и десктопных, платных и бесплатных генераторов карт сайта. Ознакомиться со всем списком можно, перейдя по ссылке .

Сгенерировать Sitemap проще, чем кажется. Разберём, как сгенерировать сайтмап, на примере деcктопного приложения Majento:

1. Парсим сайт.

2. Переходим в раздел «Сайты» => «Генерировать Sitemap».

3. Сохраняем в нужном нам формате.

4. Карта сайта готова.

Из online-генераторов XML-карты сайта заслуживает внимания XML Sitemap Generator .

Расширенные возможности этого сервера позволяют установить определённые XML-теги, включить/исключить нужные документы.

Исключить ненужные страницы можно и с помощью регулярных выражений.

Google поддерживает расширенный синтаксис для изображений. Для этого вы можете создать отдельную карту сайта для изображений или добавить синтаксис в существующую. Использование расширенного синтаксиса в Sitemap предоставляет поисковой системе дополнительную информацию об изображениях на сайте. Также это может помочь Google обнаружить и проиндексировать изображения, которые он не может найти при сканировании сайта.

Как и в обычной карте сайта, есть обязательные и необязательные XML-теги.

Обязательные:
– аналогично тегу содержит в себе URL изображения и дополнительную информацию.
– URL изображения.

Необязательные:
– подпись к изображению.
– место съёмки фотографии.
– название изображения.
– URL-лицензии изображения.

Ещё один расширенный синтаксис, который поддерживает Google, – XML-карта для видео.

Плюсы добавления XML-тегов для видео:

1) даёт понять Google, какой контент на сайте;
2) даёт возможность предоставить детальное описание к файлу;
3) станет доступным для поиска в Google Видео;
4) в поисковой выдаче будет отображаться заставка видео (может повысить количество переходов из поисковой выдачи).

Карта сайта для видеофайлов состоит из следующих обязательных элементов:

– содержит URL-адрес страницы, на которой размещено видео; если на одной странице размещено более одного видео, не нужно каждый раз создавать тег , достаточно в одном теге несколько раз прописать для каждого видео на странице.
– включает в себя всю информацию о видео.
– URL к миниатюрному изображению (заставке) к видео. Рекомендованные размеры: от 160×90 пикселей до 1920×1080. Форматы изображения: .jpg, .png, or. gif
– заголовок, который должен совпадать с названием страницы, на которой отображается видео.
– описание видео. Должно соответствовать с метаописаниями страницы. Максимальное количество символов – 2048.

Заголовок и описание видео должны быть экранированы или упакованы в блок CDATA.

Со всеми XML-тегами карты сайта для видео можно ознакомиться в справке Google .

Где разместить карту сайта

Распространённые заблуждения о Sitemap

Так как у многих этот файл вызывает трудности и является «тёмным лесом», возникают определённые мифы в отношении карт сайта. Рассмотрим некоторые из них:

– «Включение URL-адреса в файл Sitemap для XML гарантирует, что он будет проиндексирован».
Нет. Важно отметить, что XML-файлы Sitemap – это только рекомендации. Карта сайта XML не гарантирует индексацию поисковыми системами страниц, указанных в файле.

– «Если я удалю URL из XML-карты, он будет удалён из индекса».
Нет. Карта сайта XML не исключает индексацию страниц, не включённых в карту сайта XML.

– «XML-файлы Sitemap трудно создавать и поддерживать»
Нет. Небольшие сайты могут легко создавать и размещать собственные XML-файлы вручную, используя приведённые выше примеры в качестве руководства по форматированию. Для более крупных сайтов и сайтов, которые изменяются чаще, плагины или модули, доступные для большинства CMS, могут автоматизировать обновление XML-файлов.

Заключение

Файл Sitemap – полезный инструмент для передачи поисковым роботам информации о структуре сайта. Используйте это руководство, чтобы понять, как работает карта сайта, как она устроена, как сгенерировать, разместить и проверить файл.

Подписаться на рассылку

Файл sitemap.xml - это инструмент, который позволяет вебмастерам информировать поисковые системы о страницах сайта, доступных к индексации. Также, в XML карте можно указывать дополнительные параметры страниц: дата последнего обновления, частота обновлений и приоритет относительно других страниц. Информация в sitemap.xml может влиять на поведение поискового краулера и, в целом, на процесс индексации новых документов. Sitemap содержит в себе директивы включения страниц в очередь на обход и дополняет robots.txt, содержащий директивы исключения страниц.

В этом руководстве вы найдете ответы на все вопросы, касающиеся использования sitemap.xml.

Нужен ли мне sitemap.xml

Поисковые системы используют sitemap для поиска новых документов на сайте (это могут быть html-документы или медиа-контент), которые недоступны через навигацию, но их необходимо просканировать. Наличие ссылки на документ в sitemap.xml не гарантирует его сканирование или индексацию, но чаще всего файл помогает большим сайтам индексироваться лучше. К тому же, данные из XML карты используются при определении канонических страниц, если это специально не указано в теге rel=canonical.

Sitemap.xml важен для сайтов, где:

Некоторые разделы недоступны через навигационное меню.
Имеется множество изолированных страниц или плохо связанных между собой.
Используются технологии, слабо поддерживаемые поисковыми системами (например, Ajax, Flash или Silverlight).
Присутствует очень много страниц и есть вероятность, что поисковый краулер пропустит новый контент.

Если это не ваши случаи, то скорей всего sitemap.xml вам не нужен. Для сайтов, где каждая важная для индексации страница доступна в пределах 2х кликов, где для отображения контента не используются технологии JavaScript или Flash, где при необходимости используются канонические и региональные теги, и свежий контент появляется не чаще, чем на сайт заходит робот, в файле sitemap.xml нет необходимости.

Для небольших проектов при наличии проблемы лишь большого уровня вложенности документов, ее легко решить с помощью HTML карты сайта, не прибегая к использованию XML карты. Но если вы решили, что sitemap.xml вам все-таки нужен, то прочитайте это руководство полностью.

Техническая информация

Sitemap.xml является текстовым файлом формата XML . Однако, поисковые системы также поддерживают текстовый формат (см. следующий раздел).
Каждый сайтмап может содержать максимум 50 000 адресов и весить не более 50Мб (10Мб для Яндекса).
Можно использовать gzip-сжатие для уменьшения размера файла sitemap.xml и увеличения скорости его передачи. В таком случае используйте расширение gz (sitemap.xml.gz). При этом, ограничения по весу остаются для несжатых сайтмапов.
Местоположение файла Sitemap определяет набор URL-адресов, которые можно включить в этот Sitemap. Карта, содержащая адреса страниц всего сайта, должна располагаться в корне. Если сайтмап располагается в папке, то и все URL в этом сайтмапе должны располагаться в этой папке или глубже ().
Адреса в sitemap.xml должны быть абсолютными.
Максимальная длина URL - 2048 символов (1024 символа для Яндекса).
Спецсимволы в URL (типа амперсанда "&" или кавычек) должны маскироваться в HTML-сущности.
Указанные в карте страницы должны отдавать 200 http-код статуса.
Перечисленные в карте адреса не должны быть закрыты в файле robots.txt или в meta-robots.
Sitemap не должен быть закрыт в robots.txt, иначе поисковая система его не просканирует. Сам файл может находиться в индексе, это нормально.

Форматы XML карт

Поисковые системы поддерживают простой текстовый формат карты сайта, где просто списком перечислены URL-адреса страниц без дополнительных параметров. В таком случае файл должен иметь кодировку UTF-8 и иметь расширение .txt .

Также поисковиками поддерживается стандартный XML-протокол . Google дополнительно поддерживает сайтмапы для изображений, видео и новостей.

Пример файла Sitemap, содержащий только один адрес.

https://сайт/!} 2018-06-14 daily 0.9

Oznake XML
urlset
url(obvezno) – nadrejena oznaka za vsak URL.
lok(obvezno) – URL dokumenta mora biti absolutni.
lastmod- datum zadnje spremembe dokumenta v formatu Datum in čas.
sprememba frekvence- pogostost sprememb strani (vedno, vsako uro, dnevno, tedensko, mesečno, letno, nikoli). Vrednost te oznake je priporočilo iskalnikom in ne ukaz.
prednostna naloga- prednost URL-ja glede na druge naslove (od 0 do 1) za vrstni red pajkanja. Če ni določeno, je privzeto 0,5.

Zemljevid XML za slike

Nekateri SEO-ji vstavijo povezave do slik v sitemap.xml na enak način kot povezave do html dokumentov. To lahko storite, vendar je bolje, da Google uporabi razširitev standardnega protokola in pošlje dodatne informacije o slikah skupaj z URL-ji. Koristno je ustvariti slikovne zemljevide XML, če je treba slike pajkati in indeksirati, hkrati pa niso neposredno dostopne botu (uporabljen je na primer JavaScript).

Primer zemljevida spletnega mesta, ki vsebuje eno stran in z njo povezane slike

http://example.com/primer.html http://example.com/kartinka.jpg http://example.com/photo.jpg Вид на Балаклаву Севастополь, Крым http://creativecommons.org/licenses/by-nd/3.0/legalcode

Oznake XML
slika: slika(obvezno) - informacije o eni sliki. Uporabite lahko največ 1000 slik.
slika: lok(obvezno) - pot do slikovne datoteke. Če se uporablja CDN, je dovoljeno sklicevanje na drugo domeno, če je to potrjeno na plošči za spletne skrbnike.
slika: napis- napis slike (lahko vsebuje dolgo besedilo).
slika: naslov- naslov slike (običajno kratko besedilo).
slika: geo_lokacija- mesto snemanja.
slika: licenca– URL licence za sliko. Uporablja se za napredno iskanje slik.

XML zemljevid za video

Podobno kot zemljevid za slike ima Google tudi razširitev zemljevida spletnega mesta za video, kjer lahko določite podrobne informacije o video vsebinah, ki vplivajo na prikaz v iskanju videoposnetkov. Zemljevid spletnega mesta za video je potreben, če spletno mesto uporablja video posnetke, ki gostujejo lokalno in ko je indeksiranje teh videoposnetkov težko zaradi uporabljenih tehnologij. Če na svoje spletno mesto vdelate videoposnetek YouTube, potem video zemljevid mesta tukaj ni potreben.

Zemljevid mesta za novice

Če ima vaše spletno mesto vsebino z novicami in je član Google News, je koristno uporabiti zemljevid mesta za novice, da bo Google hitreje našel vašo najnovejšo vsebino in indeksiral vse članke z novicami. V tem primeru mora zemljevid spletnega mesta vsebovati samo URL-je strani, objavljenih v zadnjih 2 dneh, in ne sme vsebovati več kot 1000 URL-jev.

Uporaba več kartic

Po potrebi lahko uporabite več zemljevidov mesta in jih združite v en indeksni zemljevid mesta. Več sitemap.xml se uporablja, ko:

Spletno mesto uporablja več motorjev (CMS).
Stran ima več kot 50.000 strani.
V razdelkih morate nastaviti priročno sledenje napakam.

V slednjem primeru ima vsak velik del spletnega mesta svoj sitemap.xml in vsi so dodani na ploščo za spletne skrbnike, kjer je priročno opazovati, kateri od razdelkov ima največ napak (glej razdelek o iskanju napak na zemljevidu mesta).

Če imate 2 ali več zemljevidov spletnega mesta, jih morate združiti v indeksni zemljevid mesta, ki je videti enako kot običajen (razen prisotnosti oznak sitemapindex in zemljevida mesta namesto urlset in url), ima podobne omejitve in se lahko poveže samo z običajni zemljevidi XML (neindeksirani) ...

Primer indeksa zemljevida mesta:

http://www.example.com/sitemap-blog.xml.gz 2004-10-01T18: 23: 17 + 00: 00 http://www.example.com/sitemap-webinars.xml.gz 2005-01-01

kazalo zemljevida spletnega mesta(obvezno) - Določa standard trenutnega protokola.
zemljevid spletnega mesta(obvezno) - vsebuje informacije o posameznem zemljevidu spletnega mesta.
lok(obvezno) - lokacija zemljevida spletnega mesta (format xml, txt ali rss za Google).
lastmod- čas spremembe zemljevida mesta. Omogoča iskalnikom, da hitro odkrijejo nove URL-je na velikih spletnih mestih.

Kako ustvariti sitemap.xml

Metode ustvarjanja zemljevida mesta XML:

Notranje CMS zmogljivosti. Mnogi CMS že podpirajo ustvarjanje zemljevida spletnega mesta. Če želite izvedeti, preberite dokumentacijo za vaš CMS, si oglejte elemente menija na skrbniški plošči ali se obrnite na tehnično podporo motorja. Prenesite datoteko https: //yoursite.com/sitemap.xml na svoje spletno mesto, morda že obstaja in se dinamično ustvarja.
Zunanji vtičniki.Če CMS nima funkcije ustvarjanja zemljevida mesta in podpira vtičnike, poiščite, kateri vtičnik zapre težavo s sitemap.xml za vaš motor in ga namestite. V nekaterih primerih morate prositi programerje, da za vas napišejo podoben vtičnik.
Ločen skript na spletnem mestu.Če poznate protokol zemljevida XML in tehnične omejitve, lahko sami ustvarite sitemap.xml tako, da v CRON dodate skript za generiranje. Če niste programer, uporabite druge elemente na tem seznamu.
Generatorji zemljevidov spletnega mesta. Obstaja veliko generatorjev sitemap.xml, ki iščejo po vašem spletnem mestu in prenesejo končni zemljevid. Pomanjkljivost je v tem, da je treba vsakič, ko je spletno mesto posodobljeno, ročno ustvariti zemljevid mesta.
Razčlenjevalniki. Namizni programi, zasnovani za tehnično analizo spletnega mesta, običajno ponujajo priložnost za prenos zemljevida spletnega mesta.xml, ustvarjenega iz pajkanih strani. Deluje podobno kot generatorji zemljevidov spletnih mest, deluje samo lokalno na vašem računalniku.

Priljubljeni spletni generatorji zemljevidov spletnih mest

XML-Sitemaps.com

Omogoča vam, da z nekaj kliki dobite sitemap.xml. Podpira formate XML, HTML, TXT in GZ. Primeren je za uporabo za majhna spletna mesta (do 500 strani).

Podoben generator, vendar ima malo več nastavitev in omogoča brezplačno ustvarjanje zemljevida do 2000 strani.

Ima veliko nastavitev, omogoča uvoz URL-jev iz datoteke CSV. Brezplačno skenira do 500 URL-jev.

Nima omejitev glede števila strani za skeniranje. Toda za velika spletna mesta lahko proces generiranja zamrzne za nekaj deset minut.

Lokalni programi za generiranje zemljevida mesta XML

G-Mapper Sitemap Generator

Brezplačna namizna različica generatorja zemljevidov mesta za Windows.

Screaming Frog SEO Spider

Prilagodljivo orodje za ustvarjanje zemljevidov mesta s številnimi nastavitvami. Priročno, če že uporabljate zaslonsko žabo za druga SEO opravila. Ko pajkate po spletnem mestu, uporabite točko menija Sitemaps -> Create XML Sitemap.

Netpeak pajek

Manj prilagodljiva, a tudi priročna rešitev za hitro generiranje sitemap.xml. Po pajkanju spletnega mesta morate uporabiti točko menija Orodja -> Ustvari zemljevid mesta.

Zemljevid spletnega mesta je datoteka s povezavami do strani spletnega mesta, ki obvešča iskalnike o trenutni strukturi spletnega mesta. Yandex podpira formate XML in TXT. Format XML omogoča prenos dodatnih informacij.

Opomba. Yandex ne jamči, da bodo vsi URL-ji, navedeni v datoteki, vključeni v rezultate iskanja.

Zahteve za datoteke
Vprašanja in odgovori

Kdaj potrebujem zemljevid spletnega mesta?

Yandex razvija posebne algoritme, s katerimi robot za indeksiranje spozna spletno mesto. Na primer z uporabo Povezava, ki povezuje strani enega spletnega mesta. Strani se lahko \ n nahajajo v različnih imenikih iste domene ali na poddomenah.

"}}">notranji in Povezava, ki se nahaja na drugem mestu. "))"> zunanji povezave - premikanje z ene strani na drugo. Včasih lahko robot preskoči strani. Uporabite zemljevid mesta, če vaše spletno mesto:

veliko število strani;

ločene strani brez navigacijskih povezav;

globoko gnezdenje.

Formati, ki jih podpira Yandex

Omejitev. Yandex Search ne podpira pošiljanja virov RSS in Atom z uporabo datoteke zemljevida mesta.

Zahteve za datoteke

Največja velikost nestisnjene datoteke je 50 MB.

Postavite datoteko na isto domeno kot spletno mesto, za katerega je bila ustvarjena.

Pri dostopu do datoteke mora strežnik vrniti kodo HTTP 200.

Kako ustvariti datoteko in jo prijaviti Yandexu

Podatke zemljevida mesta lahko po potrebi odstranite.

Vprašanja in odgovori

Zemljevid spletnega mesta je v storitvi prikazan kot izključena stran s statusom "Neveljavna oblika dokumenta"

Prikazovanje datoteke zemljevida spletnega mesta (kot tudi drugih datotek XML) kot izključenih strani je zgolj informativne narave in na noben način ne vpliva na indeksiranje spletnega mesta ali obdelavo zemljevida spletnega mesta.

Datoteka zemljevida mesta je lahko prikazana v skupini izključenih strani, ker jo je robot poskušal indeksirati kot običajno stran, medtem ko datoteke XML niso indeksirane v iskalniku Yandex in niso vključene v rezultate iskanja.

Med obdelavo zemljevida mesta je prišlo do napake »Neznana oznaka«.

Zemljevid mesta lahko vsebuje samo določene elemente XML. Če spletni skrbnik najde druge elemente v datoteki (na primer navedbo mobilne ali večjezične različice, naslove slik), bo spletni skrbnik prikazal napako »Neznana oznaka«. Nepodprte elemente robot pri obdelavi zemljevida spletnega mesta prezre, podatke iz podprtih elementov pa upošteva. Zato zemljevida mesta ni treba spreminjati.

Če se vsebina datoteke spremeni, bo trajalo do dva tedna, da se posodobijo podatki v spletnem skrbniku.

Datoteka zemljevida mesta ima status "Ni indeksirano"

Datoteka zemljevida mesta morda ne bo indeksirana iz več razlogov:

Robot je pred kratkim preiskal zemljevid mesta in ga še ni obdelal. Počakajte dva tedna. Če uporabljate indeksno datoteko zemljevida mesta z več datotekami, bo njihova obdelava morda trajala dlje kot en sam zemljevid mesta.

Spletno mesto prej ni bilo na voljo robotu za indeksiranje. Počakati morate na naslednji obisk spletnega mesta s strani robota.

Če je glavni namen robots.txt prepoved indeksiranja, potem sitemap.xml opravlja ravno nasprotne naloge. Odgovorna je za pospešitev indeksiranja strani in popolnost indeksiranja strani.

Sitemap.xml pove iskalniku, s kakšno pogostostjo je potrebno ponovno indeksirati strani. V zvezi s tem je zemljevid spletnega mesta še posebej pomemben za mesta z redno posodabljano vsebino (novičarski portali ipd.). Poleg tega sitemap.xml vsebuje vse pomembne strani spletnega mesta z navedbo njihove prioritete.

Zahteve za zemljevid mesta

Zemljevid spletnega mesta je datoteka XML, ki navaja URL-je spletnega mesta v kombinaciji z metapodatki, povezanimi z vsakim URL-jem (datum zadnje spremembe; pogostost sprememb; njegova prioriteta na ravni spletnega mesta), tako da lahko iskalniki bolj inteligentno iščejo po tem spletnem mestu.

Skupno število sitemap.xml na spletnem mestu ne sme presegati 1000, medtem ko število vnosov (url-jev) v vsakem ne sme presegati 50.000.

Če morate navesti več kot 50.000 URL-jev, ustvarite več zemljevidov spletnih mest.

Zemljevid mesta lahko stisnete z arhivarjem gzip, da zmanjšate njegovo velikost. Toda velikost vsakega zemljevida spletnega mesta v razširjeni (razpakirani) obliki ne sme presegati 10 megabajtov.

Ni nujno, da je zemljevid spletnega mesta v obliki xml datoteko... Protokol omogoča generiranje zemljevida v obliki sindikacije (RSS ali Atom) ali v obliki preprostega besedilna datoteka s seznamom URL-jev po vrsticah. Toda takšni "zemljevidi spletnih mest" bodisi ne vključujejo vseh URL-jev spletnih mest (v primeru sindikacije) ali pa ne vsebujejo dodatnih pomembnih informacij (datum in čas spremembe vsebine strani), pravzaprav zaradi katerih se zemljevidi spletnih mest uporabljajo v SEO .

Z navedbo časovnega žiga zadnje spremembe Pajkom iskalnikov dovolite, da v indeksu pridobijo samo podmnožico zemljevidov spletnih mest, kar pomeni, da lahko pajek pridobi samo tiste datoteke spletnega mesta (strani), ki so bile spremenjene po določenem datumu. Ta mehanizem za delno ekstrakcijo datotek iz Sitemap.xml vam omogoča hitro odkrivanje novih URL-jev na velikih spletnih mestih. Poleg tega vam omogoča, da zmanjšate obremenitev tako strežnika kot pajka iskalnika. In slednje so jim (iskalnikom) zelo všeč.

Kombinacija zemljevida mesta z robots.txt in meta oznakami robots

Navodila sitemap.xml se morajo ob pravilni uporabi medsebojno dopolnjevati. Obstaja tri bistvena pravila interakcije teh navodil:

meta oznake sitemap.xml, robots.txt in robots si ne smejo nasprotovati;
vse strani, ki so izključene (blokirane) v robots.txt in meta oznaki robots, je treba izključiti tudi iz sitemap.xml;
vse indeksirane strani, ki jih dovoljuje robots.txt, morajo biti vsebovane v sitemap.xml

Izjeme od treh pravil

Od teh treh pravil obstajajo tudi izjeme. In, kot vedno, so povezane s stranmi s paginacijo. Začenši od druge in naprej na strani za paginacijo registriramo noindex, sledimo v metaoznakah robots, medtem ko strani za paginacijo niso zaprte pred indeksiranjem v robots.txt.

Nastavite datum in čas spremembe strani tako, da bosta enaka datumu in času spremembe glavne (prve, glavne strani) strani kataloga. Načeloma se s tem lahko strinjamo.

Optimizatorji stare šole svetujejo, da v datoteko sitemap.xls dodate samo neindeksirane ali spremenjene strani. Strani, vključene v kazalo, je treba odstraniti z zemljevida mesta. A s tem mnenjem se je že težje strinjati. Ko je polje lastmod prisotno in ga pravilno izpolnite, ni potrebe po takšnih užitkih.

Glavne težave pri uporabi sitemap.xml

Med izvajanjem sem najpogosteje naletel na naslednje napake:

Neskladnost sitemap.xml s stranmi spletnega mesta, zastarel zemljevid mesta. Ta težava se pojavi, ko zemljevid spletnega mesta ni ustvarjen dinamično, ampak občasno, z zagonom neke storitve v CMS-ju ali celo s storitvami tretjih oseb. V tem primeru se pojavi veliko mrtvih strani, ki dajejo 404 napake (to je, če je bila stran fizično izbrisana ali premaknjena na drugo mesto, je bil URL spremenjen). Poleg tega se nove strani indeksirajo veliko počasneje, ker jih ni v sitemap.xml.
Naslednja napaka je neveljavna struktura sitemap.xml. Ta napaka se praviloma pojavi na "samopisnem" CMS-ju ali pri uporabi napačnih vtičnikov za priljubljen CMS. S tem se ustvari datoteka sitemap.xml, ki krši strukturo, ki jo opisuje protokol.
Sprememba te napake je napačna obdelava datuma spremembe zapisa. Z vidika protokola to ni napaka, saj je polje lastmod neobvezno. Z vidika SEO in iskalnikov odsotnost pravilne vrednosti v tem polju (sovpada z neposredno spremembo vsebine) popolnoma izniči pomen celotne datoteke sitemap.xml. Kot že omenjeno, bodo iskalniki ponovno indeksirali tiste strani, katerih polje lastmod se je spremenilo Kaj se zgodi, če se to polje spremeni hkrati za vse zapise (strani) spletnega mesta. To pomeni, da je datum spremembe enak za vse datoteke spletnega mesta. Najverjetneje iskalniki ne bodo pozorni na zemljevid spletnega mesta in bo spletno mesto ponovno indeksirano na običajen način, globoko locirane strani pa sploh ne bodo ponovno indeksirane ali pa bodo ponovno indeksirane zelo dolgo. Torej ne smete uporabiti polja lastmod (kar je slabo) ali nastaviti datum zadnje pomembne spremembe na strani, na primer, ko se je spremenila cena ali se je izdelek končal ali se je spremenil opis.
Naslednja skupina napak so logične, ki jih povzroča kršitev treh pravil o združevanju robots.txt in sitemap.xml. V tem primeru lahko opazite stalen zadetek strani v indeksu in takojšen odhod od tam. Vendar to ne bo opaženo, če je v datoteki Sitemap.xml metaoznaka noindex in vnos. V tem primeru pajek (robot, PS pajek), ki je vstopil na stran, je ne bo indeksiral.
No, in zadnja napaka, ki se pogosto pojavlja na spletnih mestih, je prisotnost "osirotelih strani". To so strani, do katerih je povezava z zemljevida spletnega mesta, ni pa niti ene neposredne povezave z nobene strani na spletnem mestu. To je pogosto posledica dejstva, da so bile strani izbrisane "logično" (na primer v WordPressu so bile odložene v smeti) in ne fizično. To opazimo tudi na spletnih mestih, kjer se dostop do kartic izdelkov izvaja s skripti in filtri na način, ki ne omogoča indeksiranja rezultatov teh skriptov. Za pojav takšnih osirotelih strani so lahko drugi razlogi. Vse to zmanjšuje zaupanje iskalnikov do strani in je negativen signal za uvrstitev.

V skladu s protokolom lahko po spremembi zemljevida spletnega mesta pingate iskalnike. Če želite to narediti, morate ustvariti poizvedbo naslednje vrste.

Zemljevid mesta ali zemljevid mesta je posebej ustvarjena datoteka s seznamom strani z viri, ki jih je treba indeksirati.

Zakaj potrebujete zemljevid spletnega mesta

Obstajata dve vrsti zemljevidov spletnega mesta, ki se razlikujeta po obliki in namenu:

Zemljevid HTML

Sestavljen je za uporabnike, da jim olajša krmarjenje po straneh spletnega mesta. To je neobvezen element, tak zemljevid je mogoče sestaviti na velikem spletnem mestu s kompleksno hierarhijo za udobje uporabnikov.

Zemljevid XML

Potreben je za iskalne bote, pomemben je za SEO, saj botom pomaga pri indeksiranju strani vira.Prisotnost te datoteke pove iskalnim robotom, kako natančno je organizirana struktura spletnega mesta. V skladu s tem Yandex, Google, Bing in drugi iskalniki dobijo priložnost za boljše indeksiranje projekta.

V tem članku bomo analizirali ustvarjanje Zemljevidi XML.

Za kaj je zemljevid spletnega mesta:

Pospešite celoten postopek indeksiranja.
Googlovi pajki lahko preskočijo nedavno ustvarjene ali spremenjene strani, zemljevid pa bo pomagal krmariti po njih.
Navedite dodatne informacije.
Dodatna priporočila za robota so navedena na zemljevidu: beležijo pomembnost strani, pogostost in datum posodobitev.
Prikažite število indeksiranih URL-jev
Za prikaz indeksiranih povezav so potrebni tudi signali iz zemljevida mesta Search Console.
Pospešite postopek paketne deindeksiranja.
Če želite to narediti, ustvarite začasno datoteko zemljevida mesta, ki vključuje strani, ki jih želite izbrisati. Pri tem priporoča, da obvezno navedete datum zadnje spremembe strani, ko jim je bila dodeljena koda napake 404 ali atribut noindex. To bo Googlu povedalo, naj ponovno preišče vsebino spletnega mesta. Po nekaj mesecih je mogoče ta začasni zemljevid mesta odstraniti.

Hkrati, tudi če Google najde povezavo v zemljevidu spletnega mesta, vendar je ni v navigaciji, ji ne bo dal nobene teže in indeksa. Povezave v zemljevidu spletnega mesta so priporočila, najpomembnejše je narediti kompetentnega, v katerem bo iskalni robot našel vse potrebne strani.

V večini primerov zadostuje kompetentno zunanje in notranje povezovanje strani, da se iskalni roboti seznanijo z vso vsebino spletnega mesta. Ciljne strani, majhna poslovna spletna mesta z nekaj stranmi, enostranske vizitke ne potrebujejo zemljevida spletnega mesta - bot bo strani razumel brez težav. Zemljevidi so potrebni za spletna mesta, ki jih je težko pajkati, zato je priporočljivo, da jih ustvarite za druge projekte.

Zemljevid je obvezen za mesta z naslednjimi značilnostmi:

Projekt je bil ustvarjen pred kratkim, ima malo Zunanje povezave... V tem primeru iskalni bot težje najde spletno mesto.
V strukturi spletnega mesta je veliko arhivov spletnih dokumentov, ki niso povezani med seboj.
Projekt ima veliko število strani, razdelkov in pododdelkov;
V strukturi prevladujejo dinamične strani.
Spletna stran ima multimedijske vsebine. Bot bo lahko pridobil dodatne informacije iz zemljevida spletnega mesta za prikaz v rezultatih iskanja.

Iskalniki morda ne bodo indeksirali vseh zahtevanih strani takšnih spletnih mest, če pajkom ne ponudijo datoteke zemljevida spletnega mesta. Poglejmo, kako ga ustvariti.

Osnovni kriteriji za izdelavo zemljevida mesta

Iskalniki imajo lastne zahteve glede zemljevidov spletnega mesta, ki jih mora skrbnik spletnega mesta upoštevati.

Splošne zahteve za zemljevid spletnega mesta:

Število URL-jev v datoteki zemljevida mesta ne sme presegati 50 tisoč. Če jih je več, je potrebno izdelati več ločenih zemljevidov spletnih mest, ki so registrirani v indeksni datoteki zemljevida mesta. Za to je dovolj, da ustvarite več ločenih datotek zemljevida spletnega mesta, vsaka ne več kot 50 tisoč povezav, skupno število povezav pa je lahko več kot omejitev. Po tem se ustvari skupna nadrejena datoteka zemljevida mesta za več zemljevidov.
Največja velikost datoteke je 50 MB. Datoteko je mogoče zmanjšati s stiskanjem, vendar mora biti v nestisnjeni obliki še vedno manjša od 50 MB.
Zemljevid spletnega mesta mora biti na isti domeni kot spletno mesto, za katerega je bilo ustvarjeno.
Uporabite lahko kodiranje UTF-8, pa tudi latinične črke in številke.
za dostop do datoteke zemljevida spletnega mesta mora biti stanje HTTP s kodo 200 OK.
Identifikatorji URL-jev seje ne smejo biti v zemljevidu mesta.
Povezave morajo imeti enako sintakso.
Zemljevid vsebuje samo kanonične URL-je.
Zemljevid ni v nasprotju z informacijami v robots.txt - če so nekatere strani v robots.txt zaprte za indeksiranje, potem ne bi smele biti na zemljevidu.

Nekateri spletni skrbniki so zaskrbljeni zaradi vrstnega reda povezav v datoteki, vendar Googlov predstavnik, da vrstni red sploh ni pomemben, glavna stvar je, da najpomembnejše kanonične povezave postavite v zemljevid spletnega mesta.

Sprejemljivi formati zemljevidov mesta

Obstaja posebna zahteva za obliko datoteke zemljevida mesta. Zemljevid spletnega mesta lahko ustvarite kot datoteko XML, besedilno datoteko ali prek RSS, mRSS in Atom 1.0. Yandex poudarja, da iskanje ne podpira prenosa virov RSS in Atom z uporabo zemljevida spletnega mesta. Če ciljate na različne iskalnike, uporabite obliko XML. Pravila za ustvarjanje datoteke so opisana v standardu.

Oznake zemljevida spletnega mesta storitve

Zahtevane oznake zemljevida mesta:

- vsebnik z navedbo standarda protokola;
- родительский тег для каждой записи URL-адреса;
https://appcube.ru/sl/ - указание URL, начинается с префикса, к примеру, http или https.

Дополнительные теги:

- частота обновления веб-документа с атрибутами never, always, yearly, monthly и так далее;
- дата последнего обновления на странице;
Указание разной важности страниц ресурса от 0,1 до 1, определяет очередность обработки URL на этом сайте. Google его не поддерживает. Приоритет можно дать самым важным страницам и нет смысла указывать высокий приоритет всем ссылкам, тогда тег вообще ни на что не повлияет.

Другие языковые версии сайта указывают с помощью атрибута hreflang .

Пример Карты сайта в формате XML

Sitemap для сайт, если бы он состоял из одной страницы и содержал упомянутые теги, мог бы выглядеть так:

http://www.сайт/ 2016-03-21 daily 0.8

Kako ustvariti in kam postaviti zemljevid spletnega mesta?

Če želite, lahko zemljevid spletnega mesta ustvarite ročno, vendar je preveč naporno in nesmiselno - zemljevid spletnega mesta mora biti dinamičen, če spletno mesto redno posodabljate - objavljate nove vnose v blogu, razvijate spletno trgovino. Bolje je, da samodejno ustvarite zemljevid mesta tako, da se obrnete na storitve brezplačne spletne storitve in vtičniki za CMS.