robotsTXT (1) 썸네일형 리스트형 🌌 크롤링이란, 검색엔진의 천체관측 — 사이트맵과 로봇.txt로 블로그를 우주로 보내기 블로그는 밤하늘과 비슷하다.별이 수없이 떠 있어도,망원경이 그 좌표를 읽지 못하면그 존재는 잊혀진다.검색엔진도 마찬가지다.크롤링이란 건,망원경처럼 인터넷 세계를 관측하는 ‘로봇’의 눈이다.내 블로그 글이 우주에 떠 있는 별처럼 빛나길 원한다면,먼저 ‘관측 가능한 좌표’를 설정해야 한다.그게 바로 사이트맵과 로봇.txt 설정이다.🛰 사이트맵이란?사이트맵은 내 블로그 글들의 전체 지도를 만드는 일이다.“어디에 어떤 글이 있는지 알려줄게”라는 선언문 같은 것.구글 등록 방법 1. 구글 서치 콘솔 접속 → ‘사이트맵’ 클릭 2. 도메인 뒤에 /sitemap.xml 입력 3. ‘제출’ → 성공 메시지 확인네이버 등록 방법 1. 네이버 서치 어드바이저 접속 2. 사이트 등록 후 ‘요청’ → 사이트맵 제출 3. 동.. 이전 1 다음
