当建立一个新网站并链接到谷歌网站管理员工具时，谷歌将从这里执行抓取过程，目的是新网站可以出现在搜索结果中。除此之外，谷歌还执行一个数据收集过程网站上的关键词等等。
Robots.txt 还可以执行您不希望在搜索引擎中显示的页面拆分。例如，如果您的网站有一个会员页面，该页面上的信息是私有的，并且只允许会员访问它，那么您可以过滤该会员的页面，使其不被抓取或不被抓取，以维护会员的隐私。那个页面。因此，即使您不使用 Google 的 robots.txt，它仍然会“爬行”到网站上的所有页面。
robots.txt除了可以帮助防止搜索引擎抓取网站之外，还可以减轻网站页面必须承受的负担。
如何修复“虽然被 阻止但已编制索引”的问题
当 Google 将不允许抓取的网址编入索引时，GSC)中会显示消息“已被 robots.txt 阻止编入索引” 。
在某些情况下，当您在 robots.txt 文件中阻止抓取时，此类错误会立即成为问题。
因此，要解决此类 以色列手机号码清单 错误消息，您需要执行以下故障排除过程来修复它。
包含运行搜索引擎机器人的指令集合，或简单地向搜索引擎显示方法，以便您的网站可以在搜索引擎中建立索引。
所以，这个robots.txt在网站上提供了一个标志，以便显示要传达给搜索引擎的方式。
如果您不希望该出现在索引中
您可以添加元标记并确保允许抓取。如果您阻止某个页面被抓取，Google 仍然可以对其建立索引，因为抓取和索引是两件不同的事情。如果 Google 可以抓取或抓取某个网站页面，那么 Google 无法从 noindex 元标记对其进行审核，并且仍然有可能对该网站页面建立索引，因为它仍然具有网站链接。
如果 URL 已根据您必须指向特定网 BU 线索 站页面的 URL 数量进行规范化或优化，那么不添加 noindex 元机器人标签是您的正确解决方案。
您需要找出 Google 无法抓取该 URL 的原因，并检查是什么阻止或阻止了它，然后您需要将其删除。
发生这种情况的可能原因是 志。
文件，其中
