Deduplikacja
Deduplikacja to proces, w którym Google grupuje podobne strony, a potem wybiera jedną z nich do reprezentowania grupy w indeksie. Wybrana strona to strona kanoniczna, a pozostałe to duplikaty. Google nazywa ten proces również kanonikalizacją. Dzięki niemu w wynikach wyszukiwania pokazuje tylko jedną wersję powielonej treści. Wskazanie strony kanonicznej przez właściciela witryny jest dla Google wskazówką, a niewiążącą regułą.
Czym jest deduplikacja?
Deduplikacja to usuwanie powtórzeń z indeksu wyszukiwarki. Google nie pokazuje w wynikach kilku adresów z tą samą treścią, tylko jeden, uznany za najbardziej reprezentatywny.
Gary Illyes z Google wyjaśnił w podcaście „Search Off the Record” z 2020 roku, że deduplikacja składa się z dwóch etapów. Najpierw Google buduje klastry duplikatów, a potem wybiera z każdego klastra stronę wiodącą.
| Cecha | Opis |
|---|---|
| Rodzaj | proces indeksowania w wyszukiwarce |
| Etapy | grupowanie duplikatów (klastrowanie) i wybór strony kanonicznej |
| Wynik | jedna strona kanoniczna reprezentująca grupę |
| Inna nazwa | kanonikalizacja |
| Wpływ na wyniki | Google pokazuje zwykle tylko stronę kanoniczną |
| Wpływ na skanowanie | duplikaty są skanowane rzadziej niż strona kanoniczna |
Według dokumentacji Google powielona treść w obrębie witryny jest normalna i nie narusza zasad dotyczących spamu. Może jednak utrudniać śledzenie skuteczności treści w wynikach wyszukiwania. Oryginalność i powielanie treści sprawdza się zwykle podczas audytu SEO.
Deduplikacji nie należy mylić z oceną jakości treści. Strony z płytką lub powieloną treścią oceniał nisko m.in. algorytm Google Panda.
Jak Google grupuje strony i wybiera stronę kanoniczną?
Google najpierw ustala główną treść każdej strony, a potem łączy w klaster strony o tej samej lub bardzo podobnej treści. Z klastra wybiera stronę, która według zebranych sygnałów jest najbardziej kompletna i przydatna.
Według Gary'ego Illyesa Google oblicza dla każdej strony sumy kontrolne, czyli rodzaj odcisku treści. Wcześniej usuwa elementy powtarzalne, takie jak nawigacja i stopka. Zostaje główna treść strony, którą Google nazywa centerpiece. Strony o zgodnych sumach kontrolnych trafiają do jednego klastra.
| Etap | Co się dzieje | Źródło |
|---|---|---|
| Ustalenie głównej treści | Google pomija nawigację i stopkę, analizuje centralną treść | Gary Illyes, 2020 |
| Klastrowanie | strony o tej samej lub bardzo podobnej treści trafiają do jednego klastra | dokumentacja Google |
| Wybór strony kanonicznej | Google wybiera najbardziej kompletną i przydatną stronę z klastra | dokumentacja Google |
| Indeksowanie i skanowanie | strona kanoniczna jest skanowana najczęściej, duplikaty rzadziej | dokumentacja Google |
John Mueller z Google podsumował różnicę w podcaście z 2024 roku. Klastrowanie to zebranie stron, które Google uważa za takie same. Kanonikalizacja to wybór najlepszej strony z tej grupy.
Allan Scott z zespołu wyszukiwarki zaznaczył w tym samym odcinku, że wiele problemów z kanonikalizacją to w istocie problemy z klastrowaniem. Dwie różne strony mogą trafić do jednego klastra, choć nie powinny.
Google traktuje wersje językowe jako duplikaty tylko wtedy, gdy główna treść jest w tym samym języku. W wynikach Google może pokazać duplikat zamiast strony kanonicznej, gdy lepiej pasuje do użytkownika, np. wersję mobilną na telefonie.
Jakie sygnały wpływają na wybór strony kanonicznej?
Na wybór strony kanonicznej wpływa wiele sygnałów, m.in. przekierowania, atrybut rel=canonical, protokół HTTPS i obecność adresu w mapie witryny. Według Allana Scotta z Google sygnałów jest obecnie około 40.
Dokumentacja Google wymienia metody wskazania strony kanonicznej w kolejności od najsilniejszej.
| Metoda | Siła sygnału według Google |
|---|---|
| Przekierowanie | silny sygnał, że cel przekierowania powinien zostać stroną kanoniczną |
| Atrybut rel=canonical | silny sygnał, że wskazany adres powinien zostać stroną kanoniczną |
| Mapa witryny | słaby sygnał wspierający adresy z mapy witryny |
Allan Scott wymienił w 2024 roku przykładowe sygnały: przekierowania, atrybut rel=canonical, x-default, mapy witryn, linki i PageRank. Gary Illyes mówił w 2020 roku o ponad 20 sygnałach, których wagi Google ustala za pomocą uczenia maszynowego.
Według Allana Scotta atrybut rel=canonical działa na obu etapach. Najpierw próbuje połączyć dwie strony w jeden klaster. Gdy strony już są w jednym klastrze, staje się sygnałem wyboru strony kanonicznej.
Google odradza używanie pliku robots.txt i dyrektywy noindex do wskazywania strony kanonicznej. Noindex całkowicie usuwa stronę z wyszukiwarki, dlatego zalecanym rozwiązaniem jest atrybut rel=canonical.
Strony AMP to przykład wersji alternatywnej. Według pomocy Search Console stroną kanoniczną dla strony AMP powinna być zwykle wersja bez AMP.
Jak sprawdzić deduplikację w Google Search Console?
Deduplikację sprawdza się w Google Search Console, w raporcie indeksowania stron i w narzędziu do sprawdzania adresu URL. Narzędzie pokazuje, którą stronę wskazał właściciel, a którą wybrał Google.
| Status w raporcie indeksowania | Znaczenie według Google |
|---|---|
| Duplikat, użytkownik nie oznaczył strony kanonicznej | Google uznał inną stronę za kanoniczną i nie pokazuje tej w wynikach |
| Duplikat, wybrana przez Google strona kanoniczna jest inna niż strona wybrana przez użytkownika | Google uznał inny adres za lepszą stronę kanoniczną |
| Strona alternatywna z prawidłowym tagiem strony kanonicznej | strona poprawnie wskazuje zaindeksowaną stronę kanoniczną |
Według pomocy Search Console status „Duplikat, użytkownik nie oznaczył strony kanonicznej” nie jest błędem. Google celowo nie wyświetla stron powielonych.
W narzędziu do sprawdzania adresu URL widać dwie wartości: stronę kanoniczną zadeklarowaną przez użytkownika i stronę kanoniczną wybraną przez Google. Gdy wybór Google jest nieoczekiwany, Google zaleca jawne oznaczenie strony kanonicznej.
Najczęściej zadawane pytania
Q.Czy deduplikacja to kara od Google?
Nie. Deduplikacja to standardowy etap indeksowania, a nie kara. Według dokumentacji Google powielona treść w obrębie witryny jest normalna i nie narusza zasad dotyczących spamu. Google po prostu pokazuje w wynikach jedną wersję zamiast kilku. Status duplikatu w Search Console oznacza, że proces działa zgodnie z założeniami.
Q.Czym różni się deduplikacja od kanonikalizacji?
Google często używa obu nazw zamiennie. Gary Illyes opisał deduplikację jako cały proces, który obejmuje budowanie klastrów duplikatów i kanonikalizację. Kanonikalizacja to więc etap wyboru strony reprezentującej klaster. John Mueller podsumował, że klastrowanie zbiera takie same strony, a kanonikalizacja wybiera najlepszą z nich.
Q.Czy Google zawsze respektuje tag rel=canonical?
Nie zawsze. Według dokumentacji Google wskazanie strony kanonicznej to wskazówka, a nie reguła. Google może wybrać inną stronę, np. gdy uzna ją za bardziej kompletną. Jeśli zadeklarowana strona kanoniczna nie jest podobna do bieżącej strony, Google nigdy nie wybierze jej jako kanonicznej.
Q.Jak sprawdzić, którą stronę Google wybrał jako kanoniczną?
Najprościej w narzędziu do sprawdzania adresu URL w Google Search Console. Pokazuje ono stronę kanoniczną zadeklarowaną przez użytkownika i stronę kanoniczną wybraną przez Google. Raport indeksowania stron grupuje z kolei adresy ze statusami duplikatów. Pozwala to znaleźć strony, przy których Google wybrał inny adres niż właściciel.
Q.Na jakich źródłach opiera się opis?
Definicję kanonikalizacji, przebieg wyboru strony kanonicznej i przyczyny duplikatów opisuje dokumentacja Google Search Central „What is URL canonicalization”. Metody wskazania strony kanonicznej i ich siłę podaje dokumentacja „How to specify a canonical URL”. Statusy duplikatów opisuje pomoc Search Console w artykułach o raporcie indeksowania stron i narzędziu do sprawdzania adresu URL. Wypowiedzi pracowników Google z podcastu „Search Off the Record” przytacza serwis Search Engine Roundtable w artykułach z 2020 i 2024 roku.
Porozmawiajmy o Twoim wzroście
Wyślij brief lub zostaw kontakt. Odpowiemy w 24h.
Wyceń projekt