搜索 引擎不断为万维网编制索引。他们部署了高效的爬虫 查找网页并将其编入索引以获得更好的搜索结果的程序。
However, there are some sensitive pages on a website that we recommend site owners not allow search engines to index and display as it could pose a security breach. One such weblink would be our Content Management System (CMS) login page.
如果黑客发现了指向您的 CMS 登录的链接，他/她可能会尝试暴力破解进入您的 CMS 并控制您的网站。
Fortunately, there is a way to ‘tell’ the search engines not to display these sensitive pages by way of a file, robots.txt. In the file, you can list the webpages you do not want search engines to index and make it discoverable.
这 robots.txt文件对搜索引擎也至关重要。来自搜索的爬虫机器人 引擎在索引您的网站时也会robots.txt在 您的网站。他们会偷看它，看看是否有任何网站 它们以避免显示。如果robots.txt里什么都没有，他们就会通过 默认，使所有页面都可被发现。
显示 对错误受众（即黑客）的敏感页面可能会导致黑客黑客攻击 进入其中，导致一个受损的网站，这是人类或搜索引擎都不想要的。
因此，搜索引擎需要您的帮助来保持互联网更安全。他们需要网站所有者具体列出他们不希望显示的网页。
如果您在这方面需要任何帮助，请联系我们。
