Fuldt lovlige er måske så meget sagt.
Hvis en side har en 'robots.txt' fil som ikke tillader at bots render siderne igennem, så bør man respektere det. Det er måske ikke direkte ulovligt at ignorere det, men det er dårlig skik.
Så hvis du vil have moralen i orden, så tjekker du efter robots.txt og retter dig efter den.
Se mere her:
http://stackoverflow.com/questions/999056/ethics-of-robots-txt
Indlæg senest redigeret d. 07.11.2012 15:19 af Bruger #2695