[팁] 웹로봇 수집막기

웹로복의 수집규약(?)상 robots.txt라는 파일에
수집대상을 제한하도록 되어있다고 한다. (처음알았음)

http://도메인/robots.txt

User-agent: *
Disallow: /spn/site/data/
Disallow: /priv/
Disallow: /svc/
Disallow: /biz/priv/
Disallow: /biz/svc/
Disallow: /boomup/priv/
Disallow: /boomup/svc/

이런식으로 하면 위 경로의 데이터는 수집못하도록 막는걸 의미...
 

추가참고
http://www.wolse.com/data/rinfo/rinfo134.html