웹로봇 제한법 - robots.txt > html

robots.txt는 http://www.robotstxt.org/ 에 정의된 국제 규약

간단한 예로

1) 모든 로봇에 대해서 자신의 웹사이트 접근을 막으시려면,

내용을 아래와 같이 적으시고, 외부에서 읽을 수 있도록 권한을 풀어주시면됩니다. <?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" />

User-agent: *

Disallow: /

 

2) 만일, 특정 robot에 대해서 특정한 디렉토리 접근을 제한 하고 싶으시면, 아래의 sample을 참고하시면됩니다.

 

http://en.wikipedia.org/robots.txt

http://www.allblog.net/robots.txt

 

3) 특정 robot에 대해서 특정 디렉토리의 접근을 허용하고 싶으시면,  Disallow 대시 allow를 바꾸시면됩니다. 기타 참고하실 내용으로, noindex, nofollow라는 meta tag가 있습니다.

아래 blog 내용을 참고해주세요..

http://blog.naver.com/delhikim?Redirect=Log&logNo=140029977755

위와 같이 meta 정보로 noindex, nofollow를 적어주셔도 robot는 더이상 따라가지 않습니다.