Med crawling gennemgår søgemaskinerne din hjemmeside
Det kaldes crawling, når en søgemaskines robotter gennemgår din og andre hjemmesider på nettet, for at indekserer indholdet på siden. Hvordan det foregår, kigger vi nærmere på her.
Når du publicerer noget på din hjemmeside, går der ikke lang tid, før søgemaskinernes robotter har crawlet det. Det betyder, at de har analyseret siden for at se, hvad den handler om, hvor god den er, hvilke søgeord der bliver brugt og lignende. Når den er blevet indekseret, ligger siden klar i søgemaskinens database, så den kan optræde i alle relevante søgninger.
Det er en proces, der kører hele tiden. Derfor kommer søgemaskinernes robotter regelmæssigt forbi og crawler din hjemmesiden. Opdaterer du siden ofte, kommer de oftere forbi, end hvis du har en hjemmeside, du ikke opdaterer så tit.
Crawling kan sammenlignes med et edderkoppespind
En af de bedste analogier til at forstå crawling er, at søgemaskinens edderkopper sidder i deres spind og venter på, at der kommer en ny flue, altså hjemmeside, i deres net. Når der gør det, skynder de sig hen til den i nettet for at undersøge fluen og finde ud af, hvor lækker og saftig den er. Hvis der er tale om en virkelig god flue, kommer den til at ligge højt på listen over dem, som edderkoppen snart vil spise, altså vise for brugerne af søgemaskinen.
Der er som sådan ikke noget, som du kan gøre for at gøre din hjemmeside nemmere at crawle: Det sker helt automatisk, når der bliver lagt noget nyt indhold på din side.
Sådan undgår du, at siderne bliver crawlet
Der er dog også nogle sider, du slet ikke er interesseret i at få crawlet af søgemaskinerne. Det kan for eksempel være, hvis du har flere ens sider på din hjemmeside eller sider, der er identiske med andres sider på nettet. Det kan give straf for duplicate content.
Det kan også være, du har sider med meget lidt indhold – f.eks. din kontakt-side. Den slags sider kan give straf for tyndt indhold, hvorfor du ikke ønsker dem indekseret.
Endelig kan det være, de besøgende kan filtrere dine varer på forskellige måder på din webshop. Hvis kunden søger eller sorterer varerne i en kategori efter farve, vil der blive dannet en side, mens der vil blive skabt en anden, hvis kunden sorterer efter pris. Dine tekster kommer dog til at være de samme, hvorfor din webshop kommer til at have masser af duplicate content, altså indhold der er identisk.
Søgemaskinerne kan ikke lide duplicate og tyndt content, fordi de gerne vil vise deres brugere den bedste oplevelse med deres søgeresultater. For at sikre, at din webshop stadig kan ligge højt i en søgning, kan du derfor lave et canonical tag på dem. Derved viser du søgemaskinen, hvilken side der er den originale. En anden mulighed er, at du laver et nofollow tag, hvor du helt siger til søgemaskinerne, at de skal lade være med at crawle den pågældende side, der hvor du linker til den.
