百度抓取对网页的多少和特殊字符有要求吗

百度抓取对网页的多少和特殊字符有要求吗

• 来源:百度站长学院
• 更新日期:2018-08-28

摘要：问：我们有一个网页3000多行中文+英文，快照显示不完整，通过站长平台模拟抓取(注：这位同学指的是抓取诊断工具)，文字也显示不完整，对网站影响会不会很大?院长把这个笼统的问题拆成了小问题，并向工程师进行了确认。第一个问题：百度对网页内容多少大小有限制吗?答：对内容文字多少没有限制，但源码大小上有一定

　　问：我们有一个网页3000多行中文+英文，快照显示不完整，通过站长平台模拟抓取(注：这位同学指的是抓取诊断工具)，文字也显示不完整，对网站影响会不会很大?院长把这个笼统的问题拆成了小问题，并向工程师进行了确认。

　　第一个问题：百度对网页内容多少大小有限制吗?

　　答：对内容文字多少没有限制，但源码大小上有一定的防制，过长的话，会取前面一部分，所以，源码还是越简洁越好

　　第二个问题：如果快照显示网页不完整，是不是说明BaiduSpider没有完整收录网页?

　　答：不是的，快照的成生涉及很多环节，显示不完整的原因会很多，不能简单地认为没有收录完整。

　　第三个问题：使用平台抓取断工具也不能完整显示，是不是就可以认为没有收录完整了?

　　答：不是的，工具只展示前200K。我们设计工具的时候对网页做过调研，一般来说展示前100K就够用了。

　　第四个问题：百度是否要求网页上不能有什么特殊字符?

　　答：没有这个限制。