robots.txt 소개와 작성법을 알아보자
robots.txt 파일은 웹 크롤러가 해당 페이지의 접근을 제어하기 위한 하나의 약속입니다. robots.txt파일은 사이트의 최상위인 Root(/)에 위치해야 하며 로봇 배제 표준 프로토콜을 이용하여 섹션별, 웹 크롤러의 종류(데스크탑, 모바일, 구글)로 사이트에 대한 접근을 제어합니다. 작성법 robots.txt의 위치 위에서 설명했다시피 최상위읜 Root에 robots.txt에 있어야합니다. 즉 하나의 최상단의 URL ktko.tistory.com이 있다면 ktko.tistory.com/robots.txt을 호출했을 때 robots.txt의 파일 내용이 보여져야 합니다. User-agent:검색봇 이름Disallow:접근 설정Crawl-delay:다음방문까지의 디레이(초) 모든 봇을 허용 User..
