웹로봇(Web Robots) 막기 > html

웹로봇을 막을수 있는 규약이 따로 있다고 하는군요.

웹싸이트의 루트에 robots.txt 라는 파일을 만들어서

User-agent: *
Disallow: /

위 내용을 넣은 다음 저장하시면 됩니다.

robots.txt 파일은 웹 검색 엔진이 웹 사이트에 있는 정보의 일부 또는 전부를 다운로드하지 못하도록 하기 위해 웹 마스터가 사용하는 파일입니다.

robots.txt 파일 작성 방법에 대한 자세한 내용은 Robot 제외 기준을 참조하세요. 서버 로그에 "파일을 찾을 수 없습니다."라는 오류 메시지가 표시되지 않도록 하려면 robots.txt라는 이름의 빈 파일을 만드세요.

참고싸이트 : The Robots Exclusion Protocol

http://www.robotstxt.org/wc/exclusion.html#robotstxt

MSN 검색에서 사용하는 MSNBot은 방식이 조금 다르다고 하는군요.

자세한 내용은 아래 주소에서 참고하세요.

http://search.msn.co.kr/webmasters/msnbot.aspx

*접속한 로봇들의 브라우저명...

  - Wget/1.9.1

  - ia_archiver

  - Googlebot/2.1 (+http://www.google.com/bot.html)

  - Microsoft URL Control - 6.00.8862

  - msnbot/0.11 (+http://search.msn.com/msnbot.htm)