Semalt : 웹 사이트 크롤링을 중지 할시기와 이유를 Google에서 어떻게 알 수 있습니까?

Google 스파이더는 웹 사이트를 마케팅 할 때 SEO 캠페인만큼 중요합니다. 웹 사이트를 크롤링하고 찾을 수있는 모든 페이지의 컨텐츠를 색인화합니다. 또한 사이트의 업데이트 된 페이지에서 재 인덱싱을 수행합니다. 여러 가지 요인에 따라 정기적으로 수행됩니다. 여기에는 PageRank, 크롤링 제한 조건 및 페이지에있는 링크가 포함되지만 이에 국한되지는 않습니다. Google 스파이더가 사이트를 크롤링하는 횟수는 이러한 요소 중 하나 이상에 달려 있습니다.

웹 사이트는 방문자와 Google 크롤링 스파이더가 쉽게 탐색 할 수 있어야합니다. 크롤링 친화적 인 웹 사이트를 갖는 것이 SEO 캠페인의 이점이되는 이유입니다. 그렇지 않으면 Google이 콘텐츠에 액세스 할 수 없으므로 검색 엔진 순위 페이지에서 사이트의 순위가 낮아집니다.

Semalt 의 고객 성공 관리자 인 Ross Barber는 사이트 크롤링 속도를 늦추거나 중단하는 결정에 영향을주기 위해 Google이 의존하는 가장 중요한 두 가지 인덱싱 요소 중 두 가지는 연결 시간과 HTTP 상태 코드라고 정의합니다. 다른 명령으로는 disavow 명령, "no-follow"태그 및 robots.txt가 있습니다.

연결 시간 및 HTTP 상태 코드

연결 시간 요소는 Google 크롤링 봇이 사이트 서버 및 웹 페이지에 도달하는 데 걸리는 시간과 관련이 있습니다. 속도는 사용자 경험이 우수함을 나타 내기 때문에 Google에서 매우 중요합니다. 웹 페이지의 속도가 최적화되지 않으면 사이트 순위가 떨어집니다. Google 스파이더는 웹 사이트에 접속을 시도하며 연결을 만드는 데 시간이 오래 걸리면 웹 사이트를 닫고 덜 자주 크롤링합니다. 또한 Google이 현재 속도로 웹 사이트를 색인화하려고하면 서버 속도가 크게 저하되어 사용자 환경이 중단 될 수 있습니다.

두 번째 인덱싱 요소는 서버가 사이트 크롤링 요청에 얼마나 잘 응답 하는지를 나타내는 HTTP 상태 코드입니다. 상태 코드가 5xx 범위 내에있는 경우 Google은 현재 사이트를 크롤링하는 속도를 중지하거나 지연시키기 위해 자체 코드를 사용합니다. 5xx 범위 내의 모든 것은 서버에 발생할 수있는 문제를 나타내며 요청에 응답하는 데 문제가있을 수 있습니다. 추가 문제를 일으킬 위험이 있으므로 Google 봇은 서버에 더 접근 할 수있는 경우 물러나 색인 생성을 수행합니다.

Google은 언제 사이트 크롤링을 재개합니까?

Google은 사용자에게 최상의 경험을 제공한다고 믿고 이러한 목표를 달성하기 위해 SEO 요소를 최적화하는 사이트의 순위를 매길 것입니다. 그러나 현재 웹 사이트에 위에서 언급 한 문제가있는 경우 Googlebot에게 나중에 크롤링을 시도하도록 명령합니다. 문제가 지속되면 소유자는 Google이 콘텐츠를 살펴보고 검색 결과에서 적절한 순위를 부여 할 수있는 좋은 기회를 잃게됩니다. 이러한 문제 외에도 스팸 흔적이 있으면 검색 결과에 사이트가 표시되지 않습니다.

Google이 사용하는 다른 모든 알고리즘과 마찬가지로 스파이더도 자동입니다. 특정 매개 변수를 기반으로 콘텐츠를 찾고 크롤링하고 색인을 생성하도록 개발되었습니다. 사이트가 특정 모범 사례를 준수하지 않으면 색인이 생성되지 않습니다. 다른 많은 요소가 있지만 항상 사이트의 연결 시간과 HTTP 상태 코드에주의를 기울여야합니다.