애드센스 크롤링 액세스 실패 를 해결해보자

티스토리를 운영하면서 애드센스에 대해서 알게 되었다.

 

애드센스 아이디를 만들고 애드센스를 등록하기 위해 다양한 일을 했는 데

 

애드센스 승인이 여전히 되지 않는 것이다. 

(ㅠㅠ 다른 사람들은 하루 만에 되었다는 사람들도 있다고 하는데 난 왜 안 되는 거지)

 

그러던 도중 구글 서치 엔진과 애드센스의 크롤러가 다르다는 문서를 보고 무슨 말인지 생각을 해봤더니

 

구글 서치 엔진의 크롤러는 정상 인식을 하는 데 

 

애드센스의 크롤러는 등록 조차 안되어있었던 것이다.

 

그래서 애드센스의 크롤러를 등록하려고 이것저것 찾아봤지만 제대로 된 정보는 없고

 

나는 해결했지요~ 과 같은 문맥으로만 보이는 아무리 읽고 따라 해도 안 되는 글이나 너무 오래돼서 

 

페이지 구성이 최근과 너무나도 다른 페이지만 넘쳐났다.

 

 그래서 내가 등록한 방법을 알려 주려고 한다.

 

우선 애드센스에 로그인을 해준다. 

아래의 사진은 애드센스 홈페이지를 들어간 사진이다.

 

아래 사진처럼 "계정"을 눌러준다.

 

아래 사진처럼 "액세스 및 승인"을 눌러준다.

 

아래 사진처럼 "크롤러 액세스"를 눌러준다.

 

아래 사진은 등록을 잘못하여 크롤러 승인이 나지 않은 상태이다.

로그인 추가를 하면

아래 사진과 같은 화면이 나온다.

구글의 검색으로는 너무 오래된 자료만 나온다.

그 방법들로 했더니 며칠 걸려도 안 되는 게 부지기수였다.

 

그래서 정확한 정보 공유를 위해 승인이 되었던 항목별 예시를 적어보겠다.

--------------------------------------------------------------------------------------------------------

1. 제한된 디렉터리 또는 URL  :  자신 블로그에서 "비공개"로 적어 놓은 글의 링크를 넣는다.

2. 로그인 URL  : 티스토리의 로그인 페이지를 적는다.

( https://www.tistory.com/auth/login?redirectUrl=https%3A%2F%2Fwww.tistory.com%2F )

3. 로그인 방식  :  POST

4. 예 : 사용자 이름  :  ID

5. 예 : user01  :  자신이 티스토리를 로그인할 때 쓰는 아이디

 

6. 예 : 비밀번호  :  password

7. 예 : 123  :  자신이 티스토리를 로그인할 때 쓰는 아이디

--------------------------------------------------------------------------------------------------------

이렇게 적어주고 사이트를 추가해준다.

바로는 보이는 결과로는 크롤링 "실패"라고 뜨지만

30분~1시간 정도 지나면 아래 사진처럼 크롤링 "성공"이라고 떠있게 된다.

 

만약 이렇게 해도 크롤링 성공이 뜨지 않는 다면 네이버 웹마스터에 등록이 잘 되어있는지

사이트의 robots.txt 파일을 봤을 때

( robot.txt 보는 방법 -> [검색창에서] http://자신 티스토리 주소/robots.txt )

를 검색하면 어떤 게 허용됐는지 허용되지 않았는지 보이게 된다.

확인하고 크롤링의 조건과 맞는 상태로 해주어야 된다.

궁금해서 좀더 찾아봤더니 티스토리의 robots.txt는 수정이 불가능하다고 한다.

즉 robots.txt의 정보는 참고용이고 네이버의 웹마스터나 구글의 서치엔진에 갱신을 한뒤

크롤링을 다시 신청하는 것이 방법이라 알려주고 싶다.

 

 

여담....

검색을 통하다 보면 html상 메타 <meta>를 수정해야 해결된다는 글이 있는데

작성자는 meta 수정으로 해결된 케이스가 아니기 때문에 굳이 자세히 언급을 하지 않을 것이다.

여담이지만 <meta> 수정으로 광고 수익이 기울어 버리는 일도 발생한다는 글이 있었으니 하지 않는 것을 권장한다.

 

 

큰 도움은 안될수 있는 글이 될지도 모르지만 누군가에게는 도움이 되는 것을 바람으로 적은 글이니 

이 방법으로 해결되지 못하신 분들에게는 정말 안타깝지만

다른 방법을 찾거나 어디서부터 잘못됬는지 재검토하라고 감히 말씀 드려고 한다.