칼럼 › 홈페이지
AI 로봇이 홈페이지에 들어올 수 있습니까
AI는 답을 만들기 전에 로봇을 보내 홈페이지를 읽습니다. 로봇이 문 앞에서 막히면 그 홈페이지는 답의 근거가 될 수 없습니다. 막는 곳은 대개 병원이 아니라 홈페이지 관리 업체의 보안 설정입니다.
진단에서 보는 것
- 로봇 안내문(robots.txt)에 AI 로봇을 막는 줄이 있는지 봅니다. 막힌 로봇이 하나라도 있으면 「고칠 것」입니다.
- ChatGPT 검색 로봇, ChatGPT가 사용자 대신 여는 로봇, ChatGPT 학습 로봇, Perplexity 로봇, Claude 로봇 2종까지 여섯 가지 이름으로 첫 화면에 접속해 봅니다. 정상 응답(200)이 아니면 「고칠 것」입니다.
고치는 법
- 홈페이지 관리 업체에 「AI 검색 로봇이 막혀 있으니 풀어 달라」고 요청합니다. 로봇 이름을 그대로 전하면 됩니다.
- 방화벽이나 보안 서비스를 쓰고 있다면 그 설정에서 AI 로봇 차단이 켜져 있는지 봅니다.
- 로봇 안내문에서는 막는 줄(Disallow)을 지웁니다.
알아 둘 것
- 저희는 PC에서 로봇 이름만 바꿔 접속해 봅니다. 실제 로봇은 다른 주소에서 오므로, 진짜로 다녀갔는지는 서버 기록으로 따로 확인합니다.
- 로봇을 열었다고 AI 답에 나온다는 뜻은 아닙니다. 읽을 수 있게 되는 것까지입니다.