百度抓取对网页的多少和特殊字符有要求吗

摘要:问:我们有一个网页3000多行中文+英文,快照显示不完整,通过站长平台模拟抓取(注:这位同学指的是抓取诊断工具),文字也显示不完整,对网站影响会不会很大?院长把这个笼统的问题拆成了小问题,并向工程师进行了确认。第一个问题:百度对网页内容多少大小有限制吗?答:对内容文字多少没有限制,但源码大小上有一定

  问:我们有一个网页3000多行中文+英文,快照显示不完整,通过站长平台模拟抓取(注:这位同学指的是抓取诊断工具),文字也显示不完整,对网站影响会不会很大?院长把这个笼统的问题拆成了小问题,并向工程师进行了确认。

百度抓取对网页的多少和特殊字符有要求吗

  第一个问题:百度对网页内容多少大小有限制吗?

  答:对内容文字多少没有限制,但源码大小上有一定的防制,过长的话,会取前面一部分,所以,源码还是越简洁越好

  第二个问题:如果快照显示网页不完整,是不是说明BaiduSpider没有完整收录网页?

  答:不是的,快照的成生涉及很多环节,显示不完整的原因会很多,不能简单地认为没有收录完整。

  第三个问题:使用平台抓取断工具也不能完整显示,是不是就可以认为没有收录完整了?

  答:不是的,工具只展示前200K。我们设计工具的时候对网页做过调研,一般来说展示前100K就够用了。

  第四个问题:百度是否要求网页上不能有什么特殊字符?

  答:没有这个限制。