철수의 SEO 일기 - Chapter 4.robots txt? Canonical tag? meta noindex? 이게 다 뭐죠?
SEO(검색엔진 최적화) 2011/08/18 21:23안녕하세요, 아티언스의 막내사원 철수입니다. 그동안 잘 지내셨나요?
저는 한동안 실무에 전념하며 열심히 내공을 쌓고 있었습니다. 아무래도 여러분에게 좋은 내용으로 다가가려면 아는 것도 많고, 실제로 경험한 것도 많아야 하겠죠? 오늘은, 그 동안 쌓은 내공을 바탕으로 크롤러를 컨트롤하는 방법에 대해 말씀드릴까 합니다. 그 동안 철수의 SEO 일기에서 소개한 좋은 키워드를 고르는 방법, 타이틀 & 디스크립션 태그 작성법은 컨텐츠 위주의 내용이었다면, 오늘 알려드릴 내용은 약간 기술적인 내용입니다. 때문에 조금 머리가 아플 수도 있고, 꽤나 생소하실 수도 있지만 차근차근 따라오시면 능히 해내시리라 믿습니다. 그럼 시작해 볼까요?
크롤러를 왜 컨트롤해야 하나요?
크롤러는 검색 엔진의 정보 수집 로봇입니다. 웹에있는 페이지들을 읽어가서. 검색 엔진의 색인 목록(Index) 에 저장하게 되지요. 이렇게 저장된 페이지들은 검색 엔진의 알고리즘에 따라 검색어가 입력되면 검색 결과에 노출됩니다. 그런데 만약, 홈페이지 내의 기밀 내용이나, 사용자의 개인정보, 혹은 임시 페이지 등 검색 결과에 노출되면 안되는 페이지들도 모조리 크롤링해간다면 곤란한 상황이 연출될 수 있습니다. 또, 검색 엔진이 같은 홈페이지 내의 내용이 같은 페이지들을 읽어가면, 중복 컨텐츠로 인식하여 자칫 스팸 사이트로 인식될 수도 있습니다. 따라서 크롤러를 컨트롤 하는 것은 SEO 에 있어 아주 중요한 요소 중 하나입니다.
크롤러 컨트롤, 어떻게?
크롤러를 컨트롤 하는 방법은 크게 세가지가 있습니다.
첫째, robots.txt 파일을 사용하는 방법
둘째, canonical tag 를 사용하는 방법
셋째, meta robots 태그를 사용하는 방법
갑자기 생소한 단어들이 나오니 조금 어려우시죠? 하나하나 차근차근 살펴보도록 하겠습니다.
1. robots.txt 파일을 사용하는 방법
robots.txt 파일은 웹사이트의 최상위 폴더에 배치하여 검색 로봇의 크롤링을 설정할 수 있는 파일입니다. robots.txt 를 사용하는 방법은 구글 웹마스터 센터에 잘 정리되어 있으니 링크를 클릭하셔서 사용법을 익히는 것을 추천합니다. 크롤러가 웹사이트를 크롤링하려 할 때에 robots.txt 파일을 발견하면 robots.txt 파일에 있는 설정을 따르게 됩니다. 따라서, robots.txt 파일을 잘 설정해 놓으면 아주 쉽게, 웹사이트 전체의 크롤링 반경을 컨트롤 할 수 있게 됩니다. robots.txt 파일을 설정하는 방법은 아주 쉽기 때문에 사용법만 익히면 충분히 활용할 수 있지만, robots.txt 파일은 누구나 접근할 수 있기에 자칫 웹사이트의 숨기고자 하는 부분을 해커들에게 노출할 수 있다는 단점이 있습니다. 그래서인지, 요즘의 웹사이트들은 robots.txt 를 적극적으로 활용하지 않기도 합니다. 예를 들면, 애플의 웹사이트는 모든 페이지를 다 크롤링해갈 수 있게 설정해 놓았네요. http://www.apple.com/robots.txt 하지만, 여전히 robots.txt 는 간편하게 로봇을 제어할 수 있기 때문에, 적재 적소에 사용하신다면 수월하게 로봇을 컨트롤 할 수 있게 됩니다.
2. canonical 태그를 사용하는 방법
네이버 영어사전에서의 canonical 의 정의입니다. 쉽게 이야기하면, 우리나라의 '원조' 라는 의미 정도가 되겠습니다.
canonical 태그를 웹페이지의 헤더 부분에 사용하면, '내가 원조다!' 혹은 '나는 아니고 쟤가 원조다!' 를 설정할 수 있습니다. 이러한 설정이 검색 로봇에게 어떻게 인식되느냐구요? 검색 로봇은 '내가 원조다!' 라고 설정되어 있는 파일은 적극적으로 크롤링 해 가고, '나는 아니고 쟤가 원조야.' 하는 페이지는 크롤링해가지 않고 '쟤' 를 찾아 크롤링 해 갈 것입니다. 때문에, 중복 컨텐츠 문제를 해결하는 데 유용하게 사용할 수 있습니다. canonical tag 를 사용하는 방법은 역시 구글 웹마스터 도움말 에 자세히 설명되어 있으니, 확실히 알아두는 것이 좋습니다.
우리나라의 수많은 간판에 걸린 canonical tag 들...
canonical tag 는 각각의 페이지별로 설정할 수 있기 때문에, robots.txt 보다 좀 더 세밀한 설정이 가능합니다. 하지만, 검색 로봇을 확실히 차단하고자 robots.txt 와 canonical tag 를 함께 사용하는 실수를 저지르지 않도록 주의하세요. robots.txt 로 차단된 페이지는 로봇이 해당 페이지의 내용을 읽어갈 수 없기 때문에 canonical tag 가 의미가 없어질 수도 있습니다.
3. meta robots 태그를 사용하는 방법
meta robots 태그는 웹페이지의 헤더 부분에 사용하여, 로봇에게 이 페이지는 인덱싱해, 혹은 인덱싱 하지마, 혹은 따라가지마, 오픈 디렉토리 사이트에서 긁어오지마, 등등 canonical tag 보다도 더 세밀한 컨트롤을 할 수 있게 해주는 태그입니다. meta robots 태그의 사용법 또한 구글 웹마스터 도움말 센터에 잘 정리되어 있으니 꼭! 숙지하시기 바랍니다.
meta robots 태그에는 다양한 명령어들이 있습니다. 때문에 각각의 명령어와 그 기능을 제대로 파악하지 않은 상태에서 사용하게 되면, 의도치 않은 결과로 불이익을 당할 수 있습니다. 때문에 무엇보다 해당 명령어를 제대로 파악하는 것이 중요합니다. meta robots 태그까지 제대로 활용할 수 있게 되면, 그야말로 능숙한 로봇조련사가 됩니다. (제가 지어낸 말입니다. 자격증 같은 것이 아닙니다.)
지금까지 로봇을 컨트롤하는 세 가지 방법에 대해 알아보았습니다. 생소한 단어들과 기능에 조금 당황하셨을 수도 있을 텐데요, 조금 어렵기는 하지만, 위의 내용들은 SEO 를 하는 데에 정말 필수적인 기술들입니다. 무엇보다, 적재적소에 알맞은 기능을 사용하는 것이 중요하리라 생각합니다. 그러기 위해서는, 자주 가는 사이트나 페이지의 robots.txt 를 확인해 보거나, 혹은 페이지의 소스를 자세히 관찰하는 것도 좋습니다. 가장 좋은 방법은 역시 실제로 사용해 보는 것이겠지요? 너무 어렵다 생각하지 마시고, 차근차근 적용하다 보면 어느새 능숙한 조련사가 되어있을 겁니다. 그때까지 몸 건강히! 건강한 웹사이트를 위해 노력하자구요!
'SEO(검색엔진 최적화)' 카테고리의 다른 글
| 구글 검색 잘 하는 4가지 방법 (4) | 2011/09/22 |
|---|---|
| 검색엔진 최적화 - 링크빌딩 (Link Building) (4) | 2011/09/21 |
| 철수의 SEO 일기 - Chapter 4.robots txt? Canonical tag? meta noindex? 이게 다 뭐죠? (0) | 2011/08/18 |
| 중복 컨텐츠 검색엔진 최적화 Tips (Duplicate Contents SEO Tips) (0) | 2011/08/11 |
| 철수의 SEO 메모 - 검색 엔진은 어떻게 순위를 메길까? (0) | 2011/06/19 |
| 철수의 SEO 일기 - Chapter 3. Title tag , Description tag 작성하기! (4) | 2011/05/25 |
TAG artience,
Canonical,
canonical tag,
cheolsoo,
meta robots,
robots,
Robots.txt,
Search engine optimization,
seo,
검색엔진 최적화,
검색엔진최적화,
로봇텍스트,
아티언스,
철수2,
철수의 SEO 일기
Trackback Address :: http://blog.artience.co.kr/trackback/167
- Tracked from 테라웹 2011/10/10 13:10 삭제
Subject: SEO(검색엔진 최적화)
안녕하세요, 아티언스의 막내사원 철수입니다. 그동안 잘 지내셨나요?저는 한동안 실무에 전념하며 열심히 내공을 쌓고 있었습니다. 아무래도 여러분에게 좋은 내용으로 다가가려면 아는 것..
