网站上线前把robots写了所有蜘蛛禁止抓取，取消后还是这样怎么办

网站上线前把robots写了所有蜘蛛禁止抓取，取消后还是这样怎么办

• 来源:君之诺情感
• 更新日期:2018-05-14

摘要：不知道有没有其他站长跟我一样，技术部把网站后台搭建好了，然后网站还是很多东西需要修改的，特别是TDK改了一遍又一遍，但是这时候我没有去百度站长申请闭站保护，却是在网站根目录上传了robots文件，里面写着：User-agent:*Disallow:/这表示我的网站禁止所有蜘蛛来抓取，那么这种情况有什

　　不知道有没有其他站长跟我一样，技术部把网站后台搭建好了，然后网站还是很多东西需要修改的，特别是TDK改了一遍又一遍，但是这时候我没有去百度站长申请闭站保护，却是在网站根目录上传了robots文件，里面写着：

　　User-agent: *

　　Disallow:/

　　这表示我的网站禁止所有蜘蛛来抓取，那么这种情况有什么危害呢，蜘蛛来了一次两次以后都满头灰，那么以后光顾的也就越来越少了。原本我是打算禁止2~3天，前端跟美工配合我完成网站的修改，第三天编辑录入文章就可以的。但是因为美工那里拖了进度，我就没管先，还是这样写。

　　等网站正式改好之后那是两个星期后的事情了，当天那会我就把robots改了，然后重新提交给百度。而且还加上网站地图

　　robots写法

　　而因为网站架构不错的原因吧，在上线第二天品牌词就排在了首页，但是很明显的一个是，百度搜索网站品牌词的时候，显示出来的只有网站标题，其他那些呢，相信大家也猜到了：该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述。

　　百度显示限制指令

　　那么预料到有这种情况怎么办呢，其实我用robots禁止蜘蛛抓取两个星期的话不如直接申请闭站保护来的好，但是那会刚好忙其他事情去了，就没有顾上。那么对于一个草根站长来说遇见这种情况肯定很慌，其实能做的也没多少，那么我是怎么做的呢。上面也说了，先是做了网站地图，然后写在robots上，然后提交到百度站长平台的sitemap地图提交，然后把www.exmple.com/robots.txt 主动提交到百度去。跟着就是更新文章，发布外链。新站来说，靠自然更新，保证原创，高质量外链来说，就算天天更新也需要一定时间，但是第二天我就不管了，看下有什么能刺激下百度，然后我去百度找到个方法，这里分享出来给大家看下：

　　百度提示处理方式

　　我是弄的，要做一件事情长时间没有反馈的时候，我选择的是第四部，去百度反馈中心，反馈是因为误操作导致了这种情况发生，写明我的情况，蜘蛛抓取频率的下降，然后说明百度没有抓取我网站内容，但是我是对百度开放的，配上三张截图，都是来源于百度的，这个很重要，证据来源于百度的话可信度会大大的增加。提交反馈之后，原因我还打算加上一个数据主动推送(实时)的，但是百度反馈提醒我两分钟就会有结果，我就耐心等个几分钟吧，结果搜一下品牌词，百度首页第二，然后看下是否有显示描述。直接上图吧：

　　正常显示结果

　　虽然百度没有按照他说了两分钟就给我搞定，但是也不长，十分钟的事情吧，还真的搞定了。而且因为网站架构，内容都不错的情况下，更新了快照，然后上线两天的网站既然有了关键词排名，两个词排在百度第三、四页，大大出乎我的意料。

　　此原创文章由 君之诺情感http://www.junzhinuo1314.com/，首发于A5，转载请注明来源!