웹 페이지 생산 항목에 보면 아래와 같이 문제없이 수집되고 있다고 나온다. 그러나 개별로 웹 페이지 수집 요청한 URL은 수집보류라고 나온다. 네이버가 알아서 수집하고 있으나 네가 직접 요청한 건 수집 못해준단다. 그럼 요청 안해도 수집하고 있다는 건가? 뭐가 맞는지 모르겠다.

알려진 수집보류 해결 방법

검색해보니 다음과 같은 방법이 나온다. 그런데 이게 되기도 하고 안되기도 한다. 기본적인 사이트맵이나 robots.txt, HTML 등이 문제가 없다면 해결 방법이 아니다.

url 이 숫자일 경우 문자로 바꾼다 (티스토리)
html 헤더에 네이버 검색 허용 필드를 추가한다
robots.txt 에 네이버 검색엔진 허용을 추가한다.
사이트를 삭제한 후 다시 등록한다
네이버 고객센터에 문의한다.
HTML 구조 수정
기다린다

url이 숫자일때 문자로 바꾸기

티스토리에서 숫자를 문자로 바꿀 수 있다. 그런데 어떤 사람은 성공했고 어떤 블로그는 이미 문자로 되어 있었는데 수집보류되어있다. 나는 워드프레스라서 티스토리 처럼 문자로 바꾸는 방법은 없다. 티스토리 설정에서 숫자를 문자로 바꾸는게 무슨 의미일까 싶다. 크롤할때에나 사이트맵 URL은 다 문자이니 말이다. 그냥 문자로 바꿨는데 수집이 돼서 해결책으로 생각했을 수도 있다. 이건 해결 방법이 아닌 것 같다.

html 헤더에 네이버 검색 허용 필드를 추가

헤더 메타태그에 네이버 검색엔진 허용을 추가한다. 이거 안해도 성공한 사람이 있고 해도 안된 사람도 있다. robots.txt 에서 했으니 다시 할 필요 없다. 크롤과 관련이 없다.

robots.txt 에 네이버 검색엔진 추가

전부 허용해 놓았고, 네어버 서치어드바이저에서 robots.txt 를 검증했을 때에도 수집이 가능하다고 나왔다. 이것도 해결 방법이 아니다.

사이트 삭제 후 재등록

해 봤는데 안 된다. 다른 사람도 마찬가지이다.

네이버 고객센터 문의

네이버 고객센터 문의하는 링크를 찾아서 문의했다. 답장은 다음날 바로 왔는데 전혀 도움이 안됐다.

다음은 네이버 고객센터에서 받은 메일이다.

안녕하세요. **** 고객님,
문의하신 내용에 답변드립니다.
네이버는 모든 사이트 및 게시물의 수집/반영을 보장하지 않습니다.
수집보류가 노출되는 것은 최적화 여부, 웹사이트 신뢰도, 사이트 상태 등에 따라 다양한 원인이 있으며, 수집 요청한 웹사이트의 수집 여부를 판단하기 어려워 보류가 된 경우를 뜻합니다.
웹마스터도구의 수집 요청 기능은 수집 시스템에게 수집 대상 URL을 전달하는 도우미의 역할만을 담당하며 수집성공이 되더라도 검색결과 노출을 보장할 수 없습니다.
이에 따라, 문의하신 사이트 및 하위 문서들이 검색에 반영되도록 임의로 조치할 수 없는 점 너그러운 이해 부탁드립니다.
자세한 내용은 아래 도움말을 통해 확인해 주세요.
▶ 수집보류 문제해결
네이버 웹마스터도구 담당자 드림

HTML 구조

내 경우 HTML 구조가 X 이다. 그러나 워드프레스 유명 테마라 그럴리가 없다. (사이트에 https 적용 후에 HTML 구조가 체크로 바뀌었다. HTML 구조에 아무짓도 안했는데 말이다. 그리고 이 블로그는 https 적용 전에도 HTML 구조는 체크되어 있었다. 앞뒤가 안 맞다. 뭔가 제대로 표현하지 않는 네이버 만의 기준이 있거나 오류인 것 같다)

링크 관리 경고는 무엇 때문인지 모르겠다. 다른 테마를 사용하는 사이트도 링크관리는 경고가 뜬다.

티스토리 사용자 중에는 스킨 변경 후에 오류가 있다고 한다. 워드프레스도 테마에 HTML 문법 오류가 있을 수는 있지만 유명 테마는 거의 그럴일이 없다. 테마를 바꿔 볼까 생각도 했는데, 다른 테마를 바꾸면 차일드 테마 만들어서 손을 봐야하니 그냥 두기로 했다. HTML 구조가 X로 되어 있어도 나중에 검색수집이 된 사람도 있다. 네이버 검색엔진의 능력 부족인 것 같다.

기다리기

알려진 해결 방법을 다 해봐도 안된 사람 중에 어느날 갑자기 수집이 되었다는 사람들이 있다. HTML 이나 사이트맵, rss, robots.txt 등 크롤링에 기본적인 문제가 없다면 기다리는게 최선이 아닌가 싶다. .

HTML 구조에 X 라고 나오는데 그냥 두기로 했다. 구조가 X여도 한달 반 정도 지나서 수집된다는 블로그가 있었는데 난 두달 째인데 수집 보류이다.

그냥 꾸준히 포스팅하고, 사이트 평판을 늘리고 있다. 신뢰스러운 네이버 블로그나 카페, 지식iN, 내 블로그 등에서 링크를 걸어 마이템의 백링크를 늘린다. 사이트 점수가 중요하니 사이트 점수를 올리면 크롤해 갈거라고 본다.

다음은 처음 이 글을 쓴 후 변경 사항이 있어 업데이트 했다.

https 사이트 등록 후 수집 성공

서버 이사하면서 https를 적용했다. https 로 바꾼 후에 서치어드바이저에 등록했다. 검색엔진입장에서 도메인이 같아도 http에서 https 로 바꾸면 다른 사이트가 되기 때문이다. 구글도 마찬가지이다.

수집을 요청해봤는데 수집성공이 되었다! 같은 사이트이지만 다른 사이트로 등록한 후 수집 성공이 된거다.

https 변경 후 HTML 구조 상태가 체크로 변경

사이트 구조의 HTML 구조가 X에서 체크로 바뀌었다. 이해가 안되는 항목이다. https 적용안한 사이트에도 체크였고, 테마를 포함해서 아무것도 바꾸지 않았다.

http 로 된 사이트도 수집 성공

시험삼아 http로 된 사이트에 수집 요청을 해보았다. 수집 성공이다! 뭐지?

네이버 서치어드바이저 수입요청결과 https 변경 후 기존 사이트 수집성공

같은 도메인이어도 http 는 다른 사이트로 인식하는데 된다. 웹마스터도구에도 다른 사이트로 등록이 되는데, 네이버는 같은 사이트로 인식한걸까? 아니면 https로 새로 등록과 상관없이 그냥 때가 되어 수집된걸까? http의 사이트 구조의 HTML 구조는 여전히 X 이다.

다른 사이트는 http는 수집 요청이 되는데, https 는 수집보류

이 블로그는 https 로 바꿨다가 다시 http로 돌렸다. 그러다 이번에 서버 옮기면서 다시 https를 적용했고 네이버 웹마스터에 사이트를 등록했다.

http 로 된 기존 사이트는 수집 요청하면 수집이 잘 된다. 그런데 https 사이트는 수집 요청하면 모두 보류된다.

이해할 수 없다. 아직 네이버 수집 보류가 되는 이유를 못 찾겠다.

마치며

까마귀날자 배떨어진걸까?

네이버 검색이 내 수집요청을 보류했다가 기한이 되어 풀린걸까? 내 경우 2개월이다. 어떤 사람은 1개월이었다. 기한도 추측할 수 없다. 아니면 https 적용해서 다른 사이트로 등록되니 http 사이트와 리다이렉트 또는 치환하면서 수집 보류를 해제한걸까? 모르겠다.

그냥 기다리다가 문제가 해결되었으면 그게 해결책이었을 것이다. 그런데 이번에 서버를 LEMP 스택으로 옮기면서 https 적용과 그러면서 웹 마스터 도구에 새 사이트를 등록하는 이벤트가 있었다.

그냥 기다리면 될지, 아니면 http 였다면 https 적용 후에 사이트를 등록하면 될지 정확한 해결책은 모르겠다. 사이트 등록도 사실은 전에 해봤는데 영향이 없었다. 네이버에서 정확한 가이드를 주지 않으니 운 같기도하다. 규칙으로 돌아가는 프로그램에 운이라고 말하는게 아이러니 하다.