네이버 블로그, RSS 검색이 가능해졌다

입사한 이래로 NHN, 네이버 라는 태그를 꽤 유심히 살펴보고 있는데 2, 3주쯤 전인가에 네이버 블로그가 다른 검색엔진의 검색을 막는다는 글을 봤다. 물론, 그 전에도 있던 얘기었지만…

문제는 http://blog.naver.com/robots.txt 와 http://blog.rss.naver.com/robots.txt 였다.
어느 사용자가 문의한 결과에 따르면 자신의 글을 외부에 검색되게 하고 싶으면 RSS를 공개하면 된다는 답변을 받았다고 한다. 문제는 rss 서버에 있는 robots.txt 때문에 검색엔진이 들어올 수 없다는 거였다.

사실, 블로그 서버까지는 어찌어찌 명분이 서더라도 RSS 서버에 robots.txt 를 두고 모두 접근 금지 시켜버린 건 사실 어떻게 봐도 명분이 없는 문제였다. 건의한다는 게 깜빡하고 있었는데, 누군가 나와 같은 생각을 했었나보다. 여하튼 오늘 생각나서 살펴본 RSS서버에는 robots.txt 가 없다. 주소를 입력하면 그 대신 error 페이지가 나타난다.

RSS에 링크가 공개되어있으므로, RSS만 공개되더라도 robots.txt 의 존재여부에 관계없이 검색엔진은 링크된 글을 색인할 수 있다. 네이버 지식인 서비스는 로봇의 접근을 금지하고 있지만 간혹 구글에서 검색되는 경우가 있는데, 다른 외부글에서 해당 페이지를 직접 링크한 경우이다. 이 경우에 크롤러는 robots.txt 를 무시하고 직접 링크된 경로로 가서 데이터를 수집한다.

마찬가지로, 비록 블로그 서버는 접근을 금지하고 있으나 RSS만 오픈되어있다면 게시글 역시 인덱싱 될 수 있다는 것이다(근데 본문이 iframe이라 잘 될지는… -_-).

조금씩 변화하는 네이버의 이런 모습을 바라보는게 즐겁고, 나 역시 그 흐름에 존재할 수 있어 좋다.

P.S// 참고로, 내 네이버 블로그의 RSS 주소는 http://blog.rss.naver.com/gonom9.xml 이다. 크롤러님들이 색인해가라고 링크걸었다. ^^

댓글을 남겨주세요