网站制作公司尚品中国(www.sino-web.net)：误区1.Allow包括的范围超越Disallow，并且位置在Disallow后面。
比如有很多人这样写：
User-agent: *
Allow: /
Disallow: /mulu/
想让一切蜘蛛抓取本站除/mulu/下面的url之外的一切页面，克制抓取/mulu/下面的一切url。
SEO网站优化搜索引擎蜘蛛履行的划定规矩是从上到下，这样会组成第二句敕令生效。也就是说克制抓取/mulu/目次这条划定规矩是有用的。准确的是Disallow应该在Allow之上，这样才会生效。
误区2.Disallow敕令和Allow敕令以后没有以斜杠”/”开首。
这个也很苟且被忽视，
品牌网站改版，比如有人这样写Disallow: 123.html ，这类是没有结果的。斜杠”/”默示的是文件关于根目次的位置，如果不带的话，自然没法判断url是哪个，以是是毛病的。
准确的应该是Disallow: /123.html，这样才能屏障/123.html这个文件，这条划定规矩才能生效。
误区3.屏障的目次后没有带斜杠”/”。
也就是比如想屏障抓取/mulu/这个目次，有些人这样写Disallow: /mulu。那末这样是否是准确呢?
首先这样写(Disallow: /mulu)确实可以梗概屏障/mulu/下面的一切url，不过同时也屏障了相似/mulu123.html这类开首为/mulu的一切页面，结果等同于Disallow: /mulu*。
准确的做法是，如果只想屏障目次，那末必需在开首带上斜杠”/”。
本文发布于北京网站制作公司尚品中国http://www.sino-web.net/
免责声明：本文内容由互联网用户自发贡献自行上传，本网站也不承担相关的法律责任。如果您发现本文章中有涉嫌抄袭的内容，请发送邮件至：sales@sznetsoft.com或者至电给本网站进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权的内容。