Google의 John Mueller, LLMs.txt의 유용성에 의문 제기
Google의 John Mueller는 LLMs.txt라는 제안 표준에 대해 그 유용성을 낮게 평가하면서, 이를 키워드 메타 태그의 비효율성과 비교했다. LLMs.txt는 웹사이트 운영자가 AI 에이전트나 크롤러에게 주요 콘텐츠만을 제공하도록 설계된 텍스트 파일이다.
LLMs.txt의 목적과 한계
LLMs.txt는 광고나 사이트 내비게이션과 같은 부가 요소를 제외하고, 웹페이지의 핵심 콘텐츠만을 전달하기 위해 고안된 도구다. 인간과 기계 모두 쉽게 이해할 수 있도록 설계되었으며, 마크다운 형식을 채택하고 있다. 그러나, Mueller는 LLMs.txt의 한계를 다음과 같이 요약했다.
- LLMs.txt는 AI 봇을 통제하는 수단이 아니다.
- AI 봇에게 주요 콘텐츠를 전달하는 보조적인 방법에 불과하다.
- 아직 공식화된 표준으로 자리 잡지 못했다.
실제 활용에 대한 의문
Mueller는 Reddit에서 한 사용자의 질문에 답하는 과정에서 현재 AI 서비스들이 LLMs.txt를 활용하지 않고 있다는 점을 강조했다. 그는 많은 웹사이트 운영자들이 해당 파일을 제공했음에도 불구하고, AI 크롤러가 이 파일을 다운로드하지 않는다는 점을 지적했다. 심지어 이미 원본 콘텐츠와 구조적 데이터가 다운로드된 상태라면 AI가 굳이 LLMs.txt를 참고할 이유가 없다며, 그 실질적 쓸모에 의문을 던졌다.
잠재적인 문제와 미래 전망
Mueller는 또한 LLMs.txt 파일이 스팸 콘텐츠로 악용될 가능성에 대해서도 우려를 표했다. LLMs.txt를 통해 제공되는 정보가 AI 시스템에 의해 오용될 경우, 이는 웹사이트 콘텐츠의 신뢰성과 품질에 부정적인 영향을 미칠 수 있다고 설명했다. 이러한 이유로 그는 LLMs.txt가 현재로서는 웹사이트 운영자들에게 실질적인 가치를 제공하지 못한다고 결론지었다.
결국, LLMs.txt는 아직 미완성 단계에 있으며, 보다 보편적으로 사용되기 위해서는 개선이 필요해 보인다.
출처 : 원문 보러가기
