robots.txt 파일은 검색엔진 크롤러가 사이트에서 접근할 수 있는 URL을 알려주는 역할을 합니다.
사이트의 콘텐츠를 잘 가져갈 수 있도록 네비게이션의 역할을 하는 셈인데요.
robots.txt 파일이 꼭 필요한 것은 아니지만, 있으면 좋은 정도라고 기대하면 됩니다.
이번 글에서는 robots.txt 파일을 만들고 워드프레스 사이트에 등록하는 방법을 소개합니다.
robots.txt 파일 만들기
먼저, robots.txt 파일을 만들어야 합니다.
ads.txt 파일처럼 robots.txt 파일의 확장자를 보면 알 수 있듯이, 메모장으로 만들면 됩니다.
꼭 들어가야 하는 건 'User-agent: *' 와 'Allow: /' 정도이며, 'User-agent: *'는 모든 크롤링 봇을 지칭하며, 'Allow: /'는 '메인 URL/' 아래의 모든 주소에 크롤링을 허용한다는 의미입니다.
나머지는 상황에 따라 넣으면 되는데요.
워드프레스를 예로 들면, /wp-admin/ 부분은 관리자 페이지로 굳이 검색 엔진이 크롤링할 필요가 없는 곳이기 때문에, 'Disallow: /wp-admin'으로 표시하면 됩니다.
이 부분이 티스토리에서는 'Disallow: /manage/'가 되겠죠?
User-agent: *
Disallow: /wp-admin/
Disallow: /author/
Allow: /
제가 워드프레스 사이트에 들어가 있는 robots.txt 목록인데요.
글쓴이 부분은 굳이 크롤링하지 않았으면 해서, 'Disallow: /author/'을 추가해두었습니다.
이런 식으로 검색엔진이 크롤링하지 않았으면 하는 것들을 추가하여 Robots.txt 파일을 제작하면 됩니다.
티스토리 블로그의 Robots.txt 파일
User-agent: *
Disallow: /owner
Disallow: /manage
Disallow: /admin
Disallow: /oldadmin
Disallow: /search
Disallow: /m/search
Disallow: /m/admin
Disallow: /like
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: bingbot
Crawl-delay: 30
위의 예시는 티스토리 블로그 측에서 기본으로 설정해둔 robots.txt 파일인데요.
참고하시면 도움이 될 거 같아, 정리해두었습니다.
참고로, User-agent: Mediapartners-Google은 구글 애드센스 크롤링 봇을 의미하며, User-agent: bingbot은 빙(Bing) 검색 엔진의 크롤링 봇을 의미합니다.
참고로, 네이버 크롤링 봇의 이름은 User-agent: Yeti입니다.
robots.txt 파일 업로드하기
robots.txt 파일을 제작하였으면, 이제 워드프레스 사이트의 루트 폴더(최상위 폴더)에 업로드하면 됩니다.
이렇게 robots.txt 파일을 만드셨죠?
파일질라 등 FTP 프로그램을 실행하고 서버에 접속하여, 워드프레스 서버의 최상위 폴더(루트 폴더)에 robots.txt 파일을 업로드합니다.
참고로, 왼쪽(1번)이 현재 사용하고 있는 컴퓨터고 오른쪽(2번)이 워드프레스 서버입니다.
만약, FTP 프로그램을 써본 적이 없거나 사용하는 법을 모른다면, 관련 글도 함께 정리하였으니, 참고하면 많은 도움이 될 것입니다.
파일질라 사용법(+ FTP 서버 설정)
파일질라는 FTP 프로그램으로 무료 버전도 범용성이 좋아, 널리 사용되고 있습니다. 특히나 워드프레스 등 사이트, 서버 관리를 할 때에 많이 사용하는데요. 이번 글에서는 파일질라 FTP 프로그램
rnrn2.tistory.com
지금까지 워드프레스 robots.txt 파일 만들고 업로드 등록하는 방법에 대해 자세히 알아보았습니다.
제 자료가 도움이 되셨길 바랍니다.
"쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받을 수 있습니다. "
