AI 크롤러의 무단 학습 수집을 차단하세요 — 구글 일반 검색은 그대로 유지
# AI crawler blocking — generated by theutilhub.com # Normal search engines (Googlebot, Bingbot) are NOT affected. User-agent: GPTBot Disallow: / User-agent: ChatGPT-User Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: CCBot Disallow: / User-agent: PerplexityBot Disallow: / User-agent: Bytespider Disallow: / User-agent: meta-externalagent Disallow: /
| 봇 | 운영사 | 용도 |
|---|---|---|
| GPTBot | OpenAI | ChatGPT 모델 학습용 데이터 수집 |
| ChatGPT-User | OpenAI | ChatGPT 실시간 브라우징 시 페이지 접근 |
| ClaudeBot | Anthropic | Claude 모델 학습용 데이터 수집 |
| Google-Extended | Gemini 등 구글 AI 학습용 (일반 검색과 분리) | |
| CCBot | Common Crawl | 다수 AI가 학습에 사용하는 공개 크롤 데이터셋 |
| PerplexityBot | Perplexity | Perplexity AI 검색 색인·답변 생성 |
| Bytespider | ByteDance | ByteDance(TikTok) AI 학습 데이터 수집 |
| meta-externalagent | Meta | Meta AI(라마) 학습용 데이터 수집 |
이 도구를 친구에게 공유하기
추천 도구
AI 학습 차단 코드 생성기는 OpenAI(GPTBot), Anthropic(ClaudeBot), Google(Google-Extended), Meta, Perplexity 등 주요 AI 크롤러가 내 웹사이트 콘텐츠를 학습 데이터로 무단 수집하는 것을 표준 방식으로 차단하는 코드를 만들어주는 도구입니다. 차단할 봇을 고르고 차단 범위(전체 사이트·특정 폴더·이미지)와 산출물 종류(robots.txt·HTML 메타태그·서버 헤더·llms.txt)를 선택하면 즉시 붙여넣을 수 있는 코드가 생성됩니다. 중요한 점은 이 차단이 구글·빙 같은 일반 검색 엔진의 색인에는 전혀 영향을 주지 않는다는 것입니다 — Googlebot과 Google-Extended는 별개의 봇이라, 검색 노출은 유지하면서 AI 학습만 선택적으로 막을 수 있습니다. 모든 코드 생성은 100% 브라우저에서 이루어지며 입력한 경로나 설정이 서버로 전송되지 않습니다. 18종 이상의 AI 봇 데이터베이스와 봇별 용도 설명, 적용 가이드까지 함께 제공합니다.