[SEO] 검색 사이트 노출(검색) 방지 및 수집 금지 요청

최근 고객사에서 개발서버의 웹사이트가 노출되어 고객에게 혼란을 줄 수 있다는 요청이 들어와 확인을 해보니 예전에 누가 등록을 한건지 검색이 잘 되고 있었다. 

처음엔 소유권을 뺐어 사이트 노출 금지 요청을 하려 했으나, 등록된 사이트를 전부 아는 것도 아니고 추후 프로젝트 담당자가 변경된다면 누군가는 같은 일을 할 것이라고 생각했다. 하여 검색 엔진의 수집 로봇에게 수집 금지 요청을 하면 자동으로 내려갈 것 이라고 생각했고 검색을 해보니 해당 내용이 맞았다. 

Google 검색 센터 > 로봇 관련 FAQ 내용 중

위 내용을 잘 보면 robots.txt파일에서 경로를 차단해버린다면 아예 크롤링 시도를 하지 않아 meta태그의 noindex, nofollow의 내용을 인지하지 못해 안된다는 내용이 있다. 

<c:if test="${profile eq 'dev'}">
	<meta name="robots" content="noindex, nofollow, noarchive, nosnippet, noimageindex">
</c:if>

해더에 해당 내용을 삽입한다면 profile이 dev일 때, 즉 개발 서버 일 때 위 내용이 출력되고 검색 엔진의 로봇이 해당 내용을 인지하고 수집을 하지 않을 것이다.

해당 메타 태그의 content의 규칙(속성)은 구글 검색 센터에서 참고했다. 

규칙
all	색인 생성이나 게재 제한이 없습니다. 이 규칙은 기본값이므로 명시적으로 표시해도 아무 효과가 없습니다.
noindex	검색결과에 이 페이지, 미디어 또는 리소스를 표시하지 않습니다. 이 규칙을 지정하지 않으면 페이지, 미디어 또는 리소스가 색인 생성되어 검색결과에 표시될 수 있습니다. Google에서 정보를 삭제하려면 단계별 안내를 따르세요.
nofollow	이 페이지의 링크를 따라가지 않습니다. 이 규칙을 지정하지 않으면 Google에서는 페이지의 링크를 사용하여 링크된 페이지를 검색할 수 있습니다. nofollow에 관해 자세히 알아보세요.
none	noindex, nofollow와 같습니다.
noarchive	검색결과에 저장된 페이지 링크를 표시하지 않습니다. 이 규칙을 지정하지 않으면 Google에서는 캐시된 페이지를 생성하고 사용자는 캐시된 페이지에 검색결과를 통해 액세스할 수 있습니다.
nosnippet	이 페이지에 관한 검색결과에 텍스트 스니펫 또는 동영상 미리보기를 표시하지 않습니다. 사용자 환경 개선을 위해 정적 썸네일 이미지(사용 가능한 경우)는 계속 표시될 수 있습니다. 이는 모든 형태의 검색결과에 적용됩니다(Google 웹 검색, Google 이미지, 디스커버). 이 규칙을 지정하지 않으면 Google은 페이지에 있는 정보를 기반으로 텍스트 스니펫과 동영상 미리보기를 생성할 수 있습니다.
noimageindex	이 페이지의 이미지를 색인 생성하지 않습니다. 값을 지정하지 않으면 페이지의 이미지가 색인 생성되고 검색결과에 표시될 수 있습니다.

 

구글 검색 센터에 들어가면 더 많은 내용과 사용법을 확인할 수 있습니다!

 

---

로봇 메타 태그 사양 | Google 검색 센터  |  문서  |  Google for Developers