구글 서치 콘솔에서 맞춤 로봇 텍스트(robots.txt) 오류가 있는지 차단 테스트 하는 방법

 구글 서치 콘솔(Google Search Console)은 가장 대표적인 웹 마스터 도구(Web Master Tools)로, 티스토리(TISTORY)나 구글 블로그(Blogger), 워드프레스(WordPress) 등의 블로그과 웹사이트에 맞춤 robots.txt를 등록하여 포스팅하여 게시한 글을 색인하고 최적화 하여 검색엔진에 노출 될 수 있도록 적용할 수 있습니다. 구글 서치 콘솔은 '적절한 표준 태그가 포함된 대체 페이지'와 '리디렉션이 포함된 페이지', 'NOINDEX 태그에 의해 제외된 페이지' 등 웹사이트 문제를 확인하여 수정할 수 있고, Google 시스템에서 '발견됨 - 현재 색인이 생성되지 않음' 또는 '크롤링됨 - 현재 색인이 생성되지 않음' 등 인덱싱 상태를 표시하여 검색엔진에 반영되고 있는 문서를 확인할 수 있습니다.

 

 

*구글 서치 콘솔에서 robot.txt 테스트 하는 방법

 

 Google Search Console에서 맞춤 로봇 텍스트(robots.txt) 오류가 있는지 테스트 하는 방법 구글 서치 콘솔 좌측 메뉴의 '색인 생성  - 페이지' 항목을 선택하면 페이지 색인 생성의 '알려진 모든 페이지 ▾'가 표시되고, 하단의 페이지 색인 생성의 '☑ 색인이 생성되지 않는 이유'를 클릭하면 '! 페이지 색인이 생성되지 않는 이유 색인이 생성되지 않은 페이지는 Google에 게시할 수 없습니다.' 하단에 사유가 표시 됩니다.

 페이지 색인이 생성되지 않는 이유의 '소스'는 '웹사이트'와 'Google 시스템'으로 구분되며, 적절한 표준 태그가 포함된 대체 페이지'와 '리디렉션이 포함된 페이지', '크롤링됨 - 현재 색인이 생성되지 않음'으로 표시되며, 해당 항목을 선택하여 세부 항목을 확인할 수 있습니다.

 

📁 연관 포스팅: Google Blogger 블로그스팟(blogspot.com)에 맞춤 robots.txt 사용 설정하는 방법

 

 구글 서치 콘솔에 '리디렉션이 포함된 페이지'를 선택하여 '!리디렉션이 포함된 페이지 이러한 페이지는 색인이 생성되지 않거나 Google에 게시되지 않습니다. ' 아래의 '자세히 알아보기'를 선택하면 세부 사항을 확인하거나 유효성 검사를 시작 할 수 있고, 하단의 '예?'의 'URL' 목록에서 robot.txt 오류가 있는지 확인 할 수 있습니다.

 

반응형

 

*Google Search Console에서 리디렉션 페이지 robots.txt 테스트 하는 방법

 

 구글 서치 콘솔의 리디렉션이 포함된 페이지에서 목록을 선택하면 해당 URL 주소가 마지막 크롤링 된 날짜와 시간이 표시되고, 하단의 '🔍 URL 검사' 선택하여 색인 여부를 확인하거나 'ROBOTS.TXT 차단 테스트' 메뉴를 클릭하여 검색엔진에서 블로그나 웹사이트에 접근하여 글을 수집할 수 있는지 확인할 수 있습니다.

 

📁 연관 포스팅: NAEVR Search Advisor의 robots.txt 파일 네이버 검색로봇과 모든 검색로봇 수집 허용하는 방법

 

 구글 서치 콘솔의 'ROBOTS.TXT 차단 테스트' 메뉴를 선택하면 'robots.txt 테스터' 페이지가 활성화 되어 로봇 텍스트를 수정하고 오류가 있는지 확인하거나 '사용 중인 robots.txt 보기'를 선택할 수 있습니다. 로봇 텍스트 테스트 결과는 'User-agent: *', 'Allow:/' 처럼 모든 검색 엔진 허용 또는 네이버나 구글 등 추가한 검색 엔진에 문제가 발생한 경우 오류 또는 경고가 표시되고, 하단의 'Googlebot' 검색 엔진이 허용됨 처럼 해당 페이지가 검색에 반영되어 정상적으로 접근이 가능한지 확인할 수 있습니다.