블로그는 밤하늘과 비슷하다.
별이 수없이 떠 있어도,
망원경이 그 좌표를 읽지 못하면
그 존재는 잊혀진다.
검색엔진도 마찬가지다.
크롤링이란 건,
망원경처럼 인터넷 세계를 관측하는 ‘로봇’의 눈이다.
내 블로그 글이 우주에 떠 있는 별처럼 빛나길 원한다면,
먼저 ‘관측 가능한 좌표’를 설정해야 한다.
그게 바로 사이트맵과 로봇.txt 설정이다.
🛰 사이트맵이란?
사이트맵은 내 블로그 글들의 전체 지도를 만드는 일이다.
“어디에 어떤 글이 있는지 알려줄게”라는 선언문 같은 것.
구글 등록 방법
1. 구글 서치 콘솔 접속 → ‘사이트맵’ 클릭
2. 도메인 뒤에 /sitemap.xml 입력
3. ‘제출’ → 성공 메시지 확인
네이버 등록 방법
1. 네이버 서치 어드바이저 접속
2. 사이트 등록 후 ‘요청’ → 사이트맵 제출
3. 동일하게 /sitemap.xml 입력 후 확인
🤖 로봇.txt는 뭐지?
크롤링 로봇에게 “여긴 봐도 돼요!“라고 허락을 주는 파일.
로봇이 내 블로그로 접근 가능한지 결정하는 중요한 키다.
네이버용 등록 절차
1. 네이버 웹마스터 도구 접속 → 도메인 등록
2. ‘로봇.txt 설정’ → 모든 검색 로봇 허용 → 파일 다운로드
3. 티스토리 관리자 → HTML 편집 → 파일 업로드 → 로봇.txt 업로드
4. 다시 네이버 → ‘수집 요청’ → 완료 확인
🌠 크롤링이 잘 안되면?
망원경이 좌표를 못 읽으면 별이 있어도 무시되듯,
검색엔진이 내 블로그를 못 읽으면 **색인(index)**이 안 된다.
즉, 검색 누락 + 노출 저하 → 수익 저하.
특히 주의할 건 중복 콘텐츠.
같은 내용이 여러 URL에 있으면,
검색엔진은 “복사된 내용”으로 판단해서 노출을 줄일 수 있다.
그래서 초기 설정이 중요하다.
사이트맵과 로봇.txt를 정확하게 넣는 건,
망원경에게 “이 별을 꼭 봐줘!”라고 좌표를 알려주는 일이다.
🚀 우주를 향한 출발
수많은 블로그가 떠 있는 정보의 밤하늘.
그중에 내 블로그가 관측되길 바란다면
초기 크롤링 설정은 선택이 아니라 필수다.
이 글을 쓰는 나도
사이트맵 제출과 로봇.txt 업로드를 직접 해봤고,
이후부터는 검색 노출이 확실히 안정되었다.
처음엔 약간 복잡했지만,
지금은 블로그 글쓰기에만 집중할 수 있다.
내 별은 이제 관측되고 있다.
📚 음소 분석 (Phoneme Practice)
1. sitemap /ˈsaɪt.mæp/
• ‘사이트’ + ‘맵’처럼 들림
• 발음팁: /saɪt/의 “ai”는 ‘아이’처럼,
/mæp/은 짧고 평평한 ‘맵’
2. crawl /krɔːl/
• ‘크롤링’의 기본형
• 발음팁: /kr/는 혀를 입천장에 붙이지 않고
부드럽게, /ɔːl/은 ‘올’보다 입을 더 벌려 ‘꼬올’ 느낌
Crawling, the Astronomy of the Web — How Sitemaps and Robots.txt Make Your Blog Discoverable
Blogging is like the night sky.
No matter how many stars you light up,
if telescopes can’t find your coordinates,
you remain invisible.
Search engines work the same.
Crawling is their telescope.
To make your blog content shine,
you need to hand them a map (sitemap)
and permission (robots.txt).
What is a Sitemap?
A sitemap tells search engines exactly where your blog content is.
How to Submit to Google
• Go to Search Console → Sitemap
• Enter /sitemap.xml
• Submit → Wait for “Success” message
How to Submit to Naver
• Go to Naver Search Advisor → Register your site
• Submit sitemap with /sitemap.xml
What is robots.txt?
It grants permission for search bots to access your content.
To Set Up for Naver
• Download robots.txt allowing all bots
• Upload it via Tistory’s HTML editor
• Go back and submit it in Naver Webmaster Tools
Why It Matters
If your content is not crawled, it won’t be indexed.
No index = No search = No traffic = No income.
Duplicate content makes it worse.
Set everything right from the start.
Your sitemap and robots.txt are like star charts:
They guide the telescope (Google, Naver) straight to your content.
#티스토리블로그 #도메인연결 #구글서치콘솔 #사이트맵제출 #블로그설정 #오픈그래프 #블로그최적화 #검색노출 #크롤링설정 #수익형블로그