Skjerming mot søkemotorer
De fleste nettsider fanges etter hvert opp av søkemotorer. Det er imidlertid enkelt å skjerme
hele eller deler av nettstedet, om du ønsker dette.
Slik jobber søkemotorene
Andre sider sladrer
Søkemotorene har vevkrypere (web crawlere) som kontinuerlig tråler nettet etter nye sider.
Dette skjer ved at alle kjente adresser besøkes, og gjennomsøkes for nye lenker. Finnes det en
lenke inn til ditt nettsted vil det dermed gå kort tid før sidene oppdages.
Innholdet kopieres
Flere søkemotorer lagrer en fulltekstkopi av nettsidene og andre opplastede filer. Slike
kopier vil være tilgjengelig for søkere selv etter at originaldokumentene slettes fra
vevtjeneren.
Slik skjermer du deg
Legg igjen beskjed
Søkemotorer skal i henhold til The Robots Exclusion Standard alltid se etter en fil kalt
robots.txt før de indekserer et nettsted. Denne filen kan du selv opprette, og legge inn
instruksjoner i. Filen skal ligge på rotnivå (http://www.navn.no/robots.txt)
Eksempel I – Utelat alt
Ved å legge inn følgende tekst gir du søkemotorene beskjed om å holde seg borte fra hele
nettstedet:
User-agent: *
Disallow: /
Disallow: /
Eksempel II - Utelat noe
Med denne instruksen ber du søkemotorene om å hoppe over katalogene /tmp og /privat:
User-agent: *
Disallow: /tmp
Disallow: /privat
Ikke alle følger ordre
Instruksjonsfilen stopper imidlertid bare søkemotorer som spiller etter reglene, og vil ikke
hindre noen fra manuelt å aksessere filene på vevtjeneren. Du bør derfor anse alt du legger ut på
nettet som potensiell offentlig informasjon.
Les mer
