摘要:顺畅稳定的抓取是网站获得搜索用户、搜索流量的重要前提,影响抓取的关键因素……
上一篇内容:百度发布《移动搜索建站优化白皮书》:网站建设篇
下一篇:百度发布《移动搜索建站优化白皮书》:更换域名、HTTPS改造等
站长之家(Chinaz.com)注:在上一篇内容中,主要阐述了移动站点建设的大致流程,包括:域名选择、服务器选择、网站安全等方面。本文主要是《百度移动搜索建站优化白皮书》中“网站优化”方面的相关内容。
以下为内容详情:
3网站优化3.1抓取友好性
关于抓取的优先级,在此重点强调:
√网站更新频率:经常更新高价值的站点,优先抓取
√受欢迎程度:用户体验好的站点,优先抓取
√优质入口:优质站点内链接,优先抓取
√历史的抓取效果越好,越优先抓取
√服务器稳定,优先抓取
√安全记录优质的网站,优先抓取
顺畅稳定的抓取是网站获得搜索用户、搜索流量的重要前提,影响抓取的关键因素,站长可以通过本章节了解。
3.1.1URL规范
网站的URL如何设置,可参考2.3. 1 中的URL设置规范
3.1.1.1参数
URL中的参数放置,需遵循两个要点:
√参数不能太复杂
√不要用无效参数,无效参数会导致页面识别问题,页面内容最终无法在搜索展示
另外,很多站长利用参数(对搜索引擎和页面内容而言参数无效)统计站点访问行为,这里强调下,尽量不要出现这种形式资源,例如:
https://www.test.com/deal/w00tb7cyv.html?s=a67b0e875ae58a14e3fcc460422032d3
或者:
http://nmtp.test.com/;NTESnmtpSI=029FF574C4739E1D0A45C9C90D656226.hzayq-nmt07.server.163.org-8010#/app/others/details?editId=&articleId=578543&articleType=0&from=sight
3.1.2链接发现
3.1.2.1百度蜘蛛
很多站长会咨询如何判断百度移动蜘蛛,这里推荐一种方法:只需两步,正确识别百度蜘蛛
查看UA
如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:
移动UA 1:
Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
移动UA 2:
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1
(compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)
PC UA 1:
Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
PC UA 2:
Mozilla/5.0(compatible;Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)
反查IP
站长可以通过DNS反查IP的方式判断某只蜘蛛是否来自百度搜索引擎。根据平台不同验证方法不同,如Linux/Windows/OS三种平台下的验证方法分别如下:
在Linux平台下,可以使用hostip命令反解IP来判断是否来自百度蜘蛛的抓取。百度蜘蛛的hostname以*.baidu.com格式命名,非*.baidu.com即为冒充。
这里需要在提出一点,建议使用DNS更换为8.8.8. 8 后进行nslookup反向解析,否则很容易出现无返回或返回错误的问题。
相关文章推荐
网站谷歌评分90+意味着什么?2022-09-06
怎样将不安全网站变成安全网站访问?2022-09-26
网站排名下降,可能跟算法更新没关系2022-09-20
网站如何设置高质量的网页标题?2022-09-14
做外贸网站选哪些语言?法语、德语最吃香2022-09-13