안녕하세요.
이번 포스팅은 지난 포스팅에 이어 웹마스터 도구 사용법 입니다.

웹마스터 도구의 간략한 설명과 기초 세팅 방법은 이곳을 클릭
웹마스터 도구의 첫 메뉴 "사이트 구성 - Sitemaps" 관련 포스팅을 보시려면 이곳을 클릭

오늘은 웹마스터 도구의 "사이트 구성" 메뉴에서 "크롤러 액세스" 메뉴에 대해 설명 드리겠습니다.

"크롤러 액세스"의 의미와 기능을 간단히 설명 드리겠습니다.
크롤러 액세스란 말 그대로 크롤러 즉, 검색엔진의 사이트 접근을 제어한다는 의미 입니다.
그럼 어떻게 검색엔진의 사이트 접근 제어가 가능할까요? 정답은 robots.txt 파일의 활용 입니다.

"사이트 구성 - 크롤러 액세스" 메뉴는 아래와 같은 3가지 기능을 가지고 있습니다.

• robots.txt 테스트
• robots.txt 생성
• URL 제거

1. robots.txt 테스트
   작성된 robots.txt의 내용과 다운로드 시기 및 상태를 알려주며 간단한 robots.txt 구문분석 결과 내용을 보여줍니다.
   또한 "테스트" 버튼을 통하여 등록된 robots.txt의 구문분석 결과를 볼 수 있습니다.

2. robots.txt 생성
   robots.txt를 간단하게 생성 가능하도록 제작된 도구 입니다.
   각 검색엔진 별 크롤링을 차단하거나 허용, 특정 디렉토리 및 파일의 크롤링 허용 유무 설정이 가능하며 작성된 robotx.txt 파일의 다운로드가 가능 합니다.

3. URL 제거
  구글에 등록된 페이지들 중 삭제하고 싶은 URL을 삭제하는 기능 입니다. 기존의 삭제신청 URL 목록을 볼수가 있으며 신규 URL 삭제요청 및 진행 상황을 볼 수 있습니다.

이상 구글 웹마스터 도구의 "사이트 구성 - 크롤러 액세스" 메뉴에 대해 설명 드렸습니다.

간단하게  요약을 하면,

"robots.txt를 활용하여 검색엔진에 노출되면 안되는 페이지(관리자 페이지 또는 개인정보 등등)를 관리하자" 입니다.
참 쉽죠~~

그럼 오늘은 여기까지... 다음에 계속 구글 웹마스터 도구에 대해 설명 드리겠습니다.