Duplicate content: Wat betekent dit voor de vindbaarheid van mijn website?

Duplicate content, wanneer zoekmachines, zoals Google of Bing, meerdere URL’s met dezelfde content indexeren, blijft voor veel bedrijven die zich bezighouden met zoekmachine optimalisatie een bezigheid. Voor zoekmachines is het erg belangrijk om te beslissen welke content het meest relevant is als er meerdere beschikbare locaties te vinden zijn. Zoekmachines weten niet automatisch welke versies zij moeten indexeren en welke van deze duplicate content pagina’s het meest relevant zijn. Welke pagina’s sluiten ze uit en welke nemen ze juist op? Ook de manier waarop zoekmachines de pagina’s moeten rangschikken op basis van vertrouwen, anchorteksten en autoriteit is en blijft bij duplicate content een groot vraagteken.

Scheer niet alle duplicate content over één kam, want niet alle duplicate content is daadwerkelijk een probleem. Soms is het onvermijdelijk en ook helemaal niet erg. 

Dit maakt het des te belangrijker om na te gaan in welke mate duplicate content issues schade kunnen veroorzaken aan de indexatie van je website. Vraag jezelf af op welke issues er actie moet worden genomen en welke minder prioriteit hebben.

Waarom actie ondernemen op duplicate content?

Naarmate de jaren zijn de gevolgen van duplicate content groter geworden. Alvorens enkel de pagina’s met duplicate content voor een groot probleem zorgden, kan nu je hele website een risico vormen voor de visibiliteit en share of voice in de zoekmachines.

Zoekmachines, zoals bijvoorbeeld Google, beschikken namelijk over een crawl budget op basis van autoriteit. Hoe hoger de autoriteit is op een website, hoe meer crawlbudget. Het is dan ook vanzelfsprekend dat hoe lager de autoriteit is, hoe minder er op een website wordt gecrawld. Vooral dit laatste kan een probleem vormen. Websites met een laag crawlbudget zijn namelijk snel de dupe van duplicate content issues. Zoekmachines vinden in dit geval heel wat gelijkaardige pagina’s en in verhouding minder unieke content. 

Maar wist je ook dat elke website hiermee te maken heeft? Jazeker, dus ook die van jou. De zoekmachines zijn bereid om tijdens het crawlen van je website een aantal pagina’s te bezoeken, afhankelijk van jouw autoriteit en het bijbehorende crawlbudget. De zogenoemde ‘crawler traps’ zorgen voor een verspild crawlbudget. De spiders zijn immers bezig met het crawlen van de minst relevante pagina’s en komen hierdoor ook niet toe aan de belangrijkste pagina’s. Op dat moment is er geen budget meer over voor het ontdekken van relevante inhoud of belangrijke recente wijzigingen.

Op termijn kan duplicate content ervoor zorgen dat je (mooie) kansen laat liggen. Door deze duplicate content issues op te lossen kan je website namelijk veel meer websitebezoekers aantrekken.

Natuurlijk begrijpen wij ook dat je niet alle issues tegelijkertijd kunt bestrijden. Stel dus prioriteiten. Bedenk welke issues voorrang hebben en in jouw ogen zo snel mogelijk moeten worden verholpen. Wij geven je alvast een voorsprongetje en laten je graag zien aan welke duplicate content issues je zeker aandacht moet besteden. Benieuwd hoe je duplicate content issues oplost? Lees dan snel verder!

HTTPS, HTTP, WWW en niet- WWW pagina’s

Neem allereerst een blik op de afzonderlijke versies van je website. Probeer eens te surfen naar jouw website in onderstaande vormen. Kan je jouw website benaderen op elke manier, zonder dat je URL in de balk wijzigt? Wees er dan van bewust dat je te maken hebt met 4 pagina’s met een identieke content.

Kom je op alle vier bovenstaande URL’s uit op een andere URL? Dan heb je te maken met duplicate content en ben je waarschijnlijk vergeten om een 301-redirect in te stellen. Een 301-redirect is een vaste omleiding van een URL naar een andere URL. Deze ‘301-omleidingen’ zorgen ervoor dat spiders en je websitegebruikers slim worden omgeleid. Het laat zien dat de opgevraagde pagina ‘verhuisd’ is.

Met een 301-redirect voorkom je onder andere dat jouw bezoekers op niet werkende (404-) pagina’s uitkomen en zorg je dat de SEO- waarde van deze pagina’s niet verloren gaat. Wanneer je bovenstaande pagina’s naar één URL verplaatst met een 301-redirect neem je de content, domeinautoriteit, alle flows en anchorteksten probleemloos over. Deze hebben één-voor-één een positief effect op je vindbaarheid in de zoekmachines zoals Google en Bing. Je stuurt jouw bezoekers door naar de juiste URL, waardoor de zoekmachine minder moeite moet doen naar het zoeken van de juiste originele content. Deze manier van deze redirect is veilig en zorgt dus ook niet voor penalty’s vanuit de zoekmachines. Tip: Stel dus zo snel mogelijk jouw 301-redirects in!

Variaties van URL’s

Denk ook zeker even aan de interne URL’s, want deze worden vaak vergeten. Neem bijvoorbeeld het filteren van een prijs, categorie of het opnieuw sorteren van een pagina. Als je meerdere versies van een URL hebt, wordt dit door de zoekmachines al snel gezien als verschillende pagina’s en hiermee creëer je duplicate content. Je hebt namelijk meerdere pagina’s die hetzelfde doel hebben en waar exact dezelfde content op staat.

In onderstaand voorbeeld maak je kennis met duplicate content. De sweater van Hugo Boss is via beide categorieën ‘merken’ en ‘kleding’ vindbaar. De productpagina met dezelfde content komt in beide categorieën terug, maar hanteren een eigen URL. In dit geval moet je beslissen welke linkwaarde van de productpagina het meest waardevol is.

Nadat je beslist hebt welk URL het meest waardevol is, kan je een canonical instellen. Een canonical geeft aan dat er twee identieke pagina’s bestaan, maar dat er maar eentje moet worden getoond in de zoekresultaten. In dit geval kies je natuurlijk voor de meeste waardevolle.

Wat betreft de sorteer- en filterfuncties: de canonical zal moeten overeenkomen met de url en de variabelen, maar niet met ‘other’ variabelen. Wees er dus ook van bewust dat je (eventuele) sorteeropties niet doorgeeft aan de canonicals. Zie het voorbeeld hieronder.

URL: 

Canonical: 

Spider loops

Een van de belangrijkste en niet te vergeten onderwerpen die een grote hoeveelheid duplicate content veroorzaakt, is de zogeheten ‘spider loop’. Spider loop is een technische SEO term dat staat voor een structuurprobleem van een website en komt voort uit een technische ontwerpfout. Deze technische SEO-vijand genereert een oneindig aantal URL’s. Deze URL’s kunnen de spiders van zoekmachines als Google of Bing niet crawlen. Het gevolg hiervan is dat deze spiders vast komen te zitten in hun spinnenweb; de ‘spider loop’. Hierdoor kunnen ze, vanwege het beperkte crawlbudget, de meest relevante delen van de website niet indexeren.

Maar, hoe kom je hierachter? Test het met een handige tool. Neem bijvoorbeeld Screaming Frog, een handig programma voor het analyseren van SEO-fouten op je website. Als de website oneindig blijft lopen en vasthangt op een vast percentage, bijvoorbeeld 6%, dan is dat een duidelijk signaal. Na het crawlen van je website geeft Screaming Frog de belangrijkste opvallendheden weer in een handige spreadsheetindeling. Deze kan je vervolgens op de gewenste manier exporteren. Ga op zoek naar URL-variabelen, sessie ID’s en elke mogelijkheid die ervoor kan zorgen dat er oneindig pagina’s bij worden gemaakt tijdens het crawlen. Let wel op, want elk probleem is anders. De oplossingen voor deze problemen zullen dan ook variëren.

Kies voor één consistente URL

Het instellen van interne links is een belangrijke taak voor het vermijden van duplicate content. Link bijvoorbeeld niet naar “http://www.jewebsite.nl/merken en “http://www.jewebsite.nl/merken/” en “https://www.jewebsite.nl/merken/index.htm”, maar kies voor één consistente URL.

Het oplossen van duplicate content is en blijft een lastig karwei. Het ontraadselen van duplicate content issues neemt veel tijd in beslag. Toch dien je er echt de juiste aandacht aan te besteden. Het niet oplossen van duplicate content kan er namelijk voor zorgen dat jouw website minder websitebezoekers krijgt, autoriteit verliest of juist helemaal niet verder opbouwt en de share of voice en visibiliteit verminderd. Wees hier dus zeker van bewust!