| 웹검색 로봇 접근 금지시키려면(robot.txt) |
| 글 쓴 이 |
linux |
| 날 짜 |
2004년 03월 30일 12시 19분 14초 |
| 본 문 |
웹검색 로봇은 로봇배제기준을 따르고 있습니다.
로봇배제기준은 로봇이 자신의 홈페이지를 가져가지 못하게 하는 것으로서 특정 디렉토리에 robot.txt 파일을 사용하는 것입니다.
이용자님의 사이트가 웹검색 결과에서 검색되지 않게 하시려면
아래와 같은 조치를 취하셔야 하며, 아래와 같은 조치를 하지 않은 사이트에 대해서만 로봇이 검색하여 웹검색을 제공하는 것입니다.
1) 아래 처럼 작성한후 robot.txt 로 저장하셔서 루트디렉토리에 올리시기 바랍니다.
User-agent : *
Disallow : /image/
“*”는 모든 로봇들이 못들어오게 하는 것이고 “*” 대신에 “inktomi” 라고 쓰면 웹검색 로봇이 인덱스를 하지 않게 됩니다.
Disallow 옵션은 특정디렉토리를 지정하는 것으로 로봇이 접근하지 않도록 자신의 웹 디렉토리를 지정하면 됩니다.
2) Meta tag를 웹페이지에 사용하는 것으로 특정한 웹페이지를 가져가지 못하게 하는 방법
Meta tag에서 content의 noindex는 모든 페이지에 인덱스하지 못하게 하는 것이고 nofollow는 Meta tag가 들어간 웹페이지의 링크된 페이지를 인덱스하는 것을 금지시키는 것입니다.
위와 같은 방법으로 이용하여 도움이 되시길 바랍니다.
인덱스에 추가하는 방법:
이태그를 넣으면 된다고 합니다.
|
|
|
|