📚 나를 위한 정보 / / 2023. 3. 25. 01:35

크롤러: 호스팅 서버에 연결할 수 없음 - 싹 정리!

크롤러 : 호스팅 서버에 연결할 수 없음 메세지가 뜰 때마다 정말 당혹스러움을 감출 수가 없습니다. 티스토리를 포함한 구글 애드센스를 운영하시는 분들은 다 공감하실 겁니다. 이 글은 제가 너무 열받아서 정리하는 글이며, 뜰 때마다 매번 검색하기 귀찮기 때문에 제 블로그에 크롤러 오류 해결 방법을 정리하겠습니다.

크롤러
크롤러

💡애드센스 크롤러 오류 문자가 떴을 때, 가장 빠르게 해결했던 2가지 방법


크롤러 오류 도대체 뭔데?

Google 애드센스에 크롤러 오류가 발생하면 애드센스 크롤러가 웹사이트 콘텐츠에 액세스하여 사이트의 콘텐츠 및 잠재고객에 대한 정보를 수집할 수 없음을 의미합니다. 그냥 내비두라고 하는 분들도 계시지만 크롤러 오류 메세지가 뜨면 아래와 같은 부작용이 발생합니다.

- 광고 수익 감소

애드센스 크롤러가 귀하의 사이트에 액세스할 수 없으면 잠재 고객에게 관련 광고를 표시할 수 없으므로 클릭률이 낮아지고 궁극적으로 광고 수익이 감소할 수 있습니다.

- 제한된 광고 인벤토리

애드센스 크롤러가 사이트에 액세스할 수 없는 경우 사이트에 표시될 수 있는 광고 수가 제한되어 광고 수익 잠재력이 더욱 줄어들 수 있습니다.

- SEO에 부정적인 영향

애드센스 크롤러가 사이트 콘텐츠에 액세스할 수 없는 경우 검색 엔진이 사이트 페이지의 색인을 생성하지 못하도록 하여 사이트의 SEO에 부정적인 영향을 미칠 수 있습니다.

 

크롤러 오류는 보통 웹사이트의 코딩 문제, 서버 문제, 웹사이트의 robots.txt 파일에 의해 애드센스 크롤러에 적용된 제한 등 여러 가지 이유로 발생할 수 있습니다. 이러한 문제를 해결하려면 애드센스 크롤러가 사이트 콘텐츠에 액세스할 수 있도록 웹사이트 설정을 조정해줘야 합니다. 제가 직접 하고 있는 방법으로 알려드리겠습니다.

첫 번째, 구글 서치 콘솔 URL 추가

구글 서치 콘솔에 URL에 추가하는 방법인데, 가장 쉬워서 첫 번째로 해보는 과정입니다.

🖕🏻크롤러 오류를 고치기 위해 '구글 서치 콘솔 홈페이지'로 이동해 주세요.

크롤러
크롤러

위의 이미지처럼 왼쪽 바에 URL 검사라는 항목을 선택한 후, 오류난 URL 주소를 입력해 주시면 됩니다. 이 때 주소가 문자로 보이도록 설정된 분들은 변환된 링크를 넣으라고 하는데, 예시로 (abcc.com/1) 이런 식으로 도메인 슬러시 뒤 오류 페이지 번호로 기재해 주시면 됩니다. 그럼 다시 색인 크롤링 과정을 진행하게 되는데 제 경험으로는 뭔가 즉각적으로 해결되지 않고 좀 며칠 기다려야 해서 답답하더라고요. 빠르게 되는 경우도 있지만 저는 오래 걸려서.. 두 번째 방법을 주로 이용하여 해결하고 있습니다.

두 번째, 구글 애드센스 엑세스 수정

크롤러

🖕🏻구글 애드센스 홈페이지에 접속 후, 아래의 설명을 보며 그대로 따라하시면 됩니다.

크롤러
크롤러

애드센스 홈페이지 접속 후 왼쪽 메뉴 바에서 가장 아래쪽을 보시면, 톱니바퀴 모양의 계정 항목이 있습니다. [계정 > 엑세스 및 승인 > 크롤러 엑세스] 순으로 접속해 주세요.

크롤러
크롤러

그러면 크롤러 로그인 정보 화면이 나타나게 됩니다. 우측 상단의 [로그인 추가] 버튼을 눌러주세요.

크롤러
크롤러

무언가 채워야 하는 막막한 화면이 뜨실 겁니다. 그럴 때 위의 이미지에 적어놓은 대로 그대로 기재해 주세요. 크롤러 오류 페이지는 오류 화면에서 확인할 수 있으니 [크롤러 오류 페이지 주소]를 그대로 넣어 주세요. 로그인 URL은 오류난 [홈페이지의 로그인 주소]를 넣으시면 됩니다. 저는 티스토리를 사용 중이라 티스토리 로그인 주소를 예시로 적어두었습니다. 로그인 방식은 [POST]를 선택해 주세요. 로그인 매개변수는 [사용자 이름 = LOGINID - user01 = 본인의 계정 로그인 아이디] / [비밀번호 = PASSWORD - 123 = 본인의 계정 비밀번호]를 넣어주신 후 [로그인 추가] 버튼을 눌러주시면 됩니다.

크롤러
크롤러

그러면 로그인 정보에 [크롤링 안 함]이라는 빨간불 표시로 추가가 된 것을 확인할 수 있는데요. 이 상태는 좀 기다리면 [크롤링]으로 변경됩니다. 저는 이렇게 했을 때 가장 빠르게 광고 제한 메세지가 사라졌습니다. 

마지막 한마디

티스토리를 운영하면 정말 이런 저런 오류도, 억울한 일도 많습니다. 순수하게 포스팅 했는데 누군가의 공격을 받기도 하고 이유 없이 저품질 당하기도 하죠. 그럴 때마다 포기하고 싶고 이게 맞나 막막한 심정이지만.. 그래도 하나하나 고쳐가면서 잘 운영할 수 있는 노하우를 터득하는 과정이라고 생각하고 오늘도 열받게 하는 크롤링 오류 현상을 고쳐봅니다.


크롤러
크롤러

  • 네이버 블로그 공유
  • 네이버 밴드 공유
  • 페이스북 공유
  • 카카오스토리 공유