Monte um arquivo para crawlers, valide o básico e baixe o resultado. Isso não protege conteúdo nem garante o comportamento de um crawler.
Preencha os campos e gere seu arquivo.