robots.txt 확인 문제해결 방법 (네이버 웹마스터도구)

안녕하세요. 하루 3분, 인생을 바꾸는 3분 재테크입니다.

티스토리 블로그를 운영하다보면 구글서치콘솔 및 네이버 웹마스터도구에서 예상치 못하는 오류를 발견할 때가 있는데요. 어떤 오류들은 그냥 둬도 무방하지만 최적화를 위해 가급적 오류를 해결하는 것이 좋겠습니다.

오늘은 크롤링 중 서버에 문제가 생길 때 이를 robots.txt로 해결하는 방법을 알아보고자 합니다.

🕒오늘 알아볼 내용
▪ robots.txt란?
▪ 로봇텍스트 유무 확인방법
▪ 로봇텍스트 생성 문제해결 방법

robots.txt란?

이는 웹사이트에서 크롤링을 할 때 어떤 페이지를 정보수집을 해도 되는지 알려주는 역할을 하는 텍스트 파일입니다. 동시에 크롤러가 정보수집을 할 때 요청때문에 사이트가 과부화될 수 있는 것을 방지하는 역할도 합니다.

즉 크롤러, 검색로봇이 효율적으로 정보수집을 할 수 있도록 도움을 줍니다. 결과적으로 이를 통해 사용자는 콘텐츠를 검색엔진에 더 노출이 잘되게끔 유도할수 있습니다.

내 블로그에 로봇텍스트가 정상적으로 생성되어있는지 확인하려면 어떻게 해야할까요? 그 방법은 간단합니다.

네이버 서치어드바이저의 웹마스터도구에 접속해 사이트를 체크하도록 합니다.

그럼 사이트 URL 실시간 조회결과를 얻을 수 있는데요. 제 블로그에서는 robots.txt가 존재하지 않는다는 결과를 얻었습니다.

오류가 났다면 문제 해결 방법까지 알아봐야겠지요. 사이트 목룍에서 로봇텍스트를 등록하려는 사이트를 클릭합니다.

메뉴에서 검증을 누르고 robots.txt를 클릭합니다.

해당 메뉴에서 스크롤을 아래로 내리면 robots.txt 간단 생성이라는 문구를 발견할 수 있습니다. 본인이 원하는 옵션으로 파일을 생성하면 됩니다.

저는 많은 사이트에서 제 글이 노출되기를 원해서 모든 검색로봇이 수집을 허용하도록 설정했습니다. 옵션선택이 끝났으면 다운로드합니다.

텍스트파일이 다운로드 되었습니다.

이 파일을 티스토리 스킨편집에서 html편집을 통해 등록합니다.

파일업로드를 눌러 파일을 추가한 뒤 이를 적용합니다.

다시 네이버 웹마스터도구로 돌아가 URL검사를 한 결과 문서가 성공적으로 색인되었다는 문구가 뜹니다.

하지만 생성한지 얼마 안된 티스토리 블로그는 똑같은 방법으로 했는데도 문서가 수집되지 않았습니다. 일반적으로 티스토리블로그는 한달이 지나야 최적화가 된다고하니 좀더 기다려봐야 겠습니다.

이상 robobts.txt를 생성해 티스토리 블로그에 적용하는 방법을 알아보았습니다.

티스토리를 운영하다보면 처음 접하는 어려운 것들이 많지만 그래도 한번 해두고나면 건드릴 일이 거의 없네요. 이건 네이버 블로그와는 또다른 티스토리만의 또다른 재미인 것 같습니다.

여러분의 성공적인 블로그 운영을 응원하며 오늘의 글을 마치도록 하겠습니다. 감사합니다 :)