구글해킹 - 6 (구글해커로부터 보호) > security

1. Robots.txt로 웹 검색자 막기
1) robot.txt 파일은 로봇에게 내용을 지시한다.
2) 이 파일은 웹서버의 루트 디렉토리에 존재해야하며 웹서버가 읽을수 있는 파일 권한을 주어야 한다.
3) http://www.robotstxt.org/wc/norobots.html에 관련 내용 있음
4) 설정파일 내용
User-agent: Googlebot #구글이 아닌 모든것은 *로 가능
Disallow: / #로봇이 경로 아래 읽지 못함
(Disallow : /*.PDF$) # PDF파일 읽는거 막음
5) 유효성 판단
http://www.searchengineworld.com/cgi-bin/robotcheck.cgi를 통해 맞는지 판단한다.
6) Robots.txt파일은 유명 로봇은 정보 유출 책임을 면하기 위해 거의 모두 하고 있다.

2. 자신의 사이트를 직접 점검한다.

3. 구글 스캔 툴
(API키 - 구글계정 만들고 http://api.google.com/createkey에서 받음 : 하루에 1000개)
1) Gooscan - 대량의 구글 검색을 하는데 사용하는 Linux용 툴
구글 API 사용하지 않음. 이 툴을 사용하면 잘하면 그 아이피 대역이 막힘(거의 아니지만) http://johnny.ihackstuff.com
2) Athena - 이것도 구글 API 사용하지 않음 (윈도우용)
http://snakeoillabs.com/
3) SiteDigger - 구글라이센스 받음
http://www.foundstone.com/resources/proddesc/sitedigger.htm
4) Wikto - 라이센스키 필요