At sitet ikke kan holde til at google indexerer det.
At det skaber mere uhåndterbart trafik. Det ligner et subtext cms, og det håndterer nu fint den, relative lille mængde trafik.
Ah, ja. Jeg syntes også påstanden om at serveren ikke skulle kunne holde til en smule google-trafik, virkede lidt vag.
Men det er sekundært i forhold til artiklens vinkel, der tilsyneladende forsøger at gøre et ramaskrig ud af, at vi her har en hjemmeside der
ikke lukker Google ind! "oh ve oh klage, hvordan kan de dog finde på at lave en robots.txt?!". Og den vinkel forekommer mig forholdsvis ligegyldig. Googles robotter er bygget til at acceptere hvad robots.txt siger de må - så det må stå enhver frit for at disallow'e dem, uden at vi skal lytte til medierne kny.
