您可以通过以下几种方式限制资源的索引:
其中每个都是一行 HTML 代码,说明检索工具应该如何处理网站上的某些资源。具体来说,标记会告知检索工具是否不允许对网页或资源编制索引,关注其链接和/或存盘其内容。因此,请确保您的所有唯一且有用的内容可用于索引。
建议重新检查 robots.txt 文档,并确保所有有用的内容都已编入索引,并且没有被错误禁止的。
要确保所有包含有价值内容的网站区段都不受索引的限制,请检查 robots.txt 文档中的禁止槼则。
蕴藏许多助人的知识与智能。
关注蓝眼知识学院