小貓今天想說的就是一個(gè)站長(zhǎng)小伙伴們都非常熟悉的東西：robots文件，相信小伙伴們對(duì)這個(gè)文件都不陌生吧!但是呢小貓就發(fā)現(xiàn)，很多的站長(zhǎng)小伙伴都忘記了robots的重要性，robots表示很生氣，后果很嚴(yán)重，
苦逼站長(zhǎng)與robots不得不說的故事
。小貓的SEO都是自學(xué)的，看到robots文件的問題以后，我就問了一些SEO大 神，robots文件很重要嗎?當(dāng)時(shí)，這位大神就對(duì)小貓語(yǔ)重心長(zhǎng)的說：robots可以成就你的網(wǎng)站，也可以毀掉你的網(wǎng)站，所以，robots還是很重要的。小貓用下面的小故事來告訴大家robots對(duì)站長(zhǎng)小伙伴多么的重要，這個(gè)故事是發(fā)生在別人身邊的，但是小貓為了敘述方面，就改為第一人稱了，小伙伴們 就不要在意這些細(xì)節(jié)了哈!閑話少說，小貓來和大家聊聊robots對(duì)我們網(wǎng)站的一些影響。在A5站長(zhǎng)網(wǎng)群里有一位小伙伴跟小貓的關(guān)系比較好，有一次，他的網(wǎng)站有上千的收錄的，但是到一個(gè)下午以后，收錄突然變?yōu)?了。當(dāng)時(shí)他非常的緊張，因?yàn)榫W(wǎng)站的收錄沒有了，網(wǎng)站的流量也沒有了，幸幸苦苦一個(gè)多月的時(shí)間，到頭來發(fā)現(xiàn)都是井中月水中花，看得見摸不到。當(dāng)時(shí)這位小伙伴就很灰心，就跑到A5站長(zhǎng)群里聊天，問其他的站長(zhǎng)小伙伴是怎么回事，網(wǎng)站被K了啊，怎么辦呢!A5站長(zhǎng)群的小伙伴們還是很熱心的，有很多人幫他檢查原因，經(jīng)過一段時(shí)間的 檢查以后大家發(fā)現(xiàn)了原因，那就是他網(wǎng)站的robots文件屏蔽了百度蜘蛛抓取網(wǎng)站頁(yè)面。
現(xiàn)在就有小伙伴想問了：為什么會(huì)出現(xiàn)這種情況 呢?原因就在大他在做網(wǎng)站的時(shí)候robots文件是完全屏蔽了百度蜘蛛抓取的。相信大家都知道一個(gè)事實(shí)，就是當(dāng)你寫好了robots文件規(guī)則，屏蔽了百度 蜘蛛的時(shí)候，發(fā)現(xiàn)百度還是會(huì)抓取的，道理很簡(jiǎn)單，百度畢竟不是人，不能做到人一樣的智能化，所以百度還是會(huì)派蜘蛛來抓取頁(yè)面的，但是站長(zhǎng)小伙伴也別慌，等過段時(shí)間以后，百度就會(huì)把已經(jīng)抓取的頁(yè)面(robots文件屏蔽的)從自己的索引庫(kù)中刪除，百度也會(huì)有一個(gè)發(fā)現(xiàn)的過程，然后改正、糾錯(cuò)，
電腦資料
《苦逼站長(zhǎng)與robots不得不說的故事》(http://www.msguai.com)。這位小伙伴還問了一句話：為什么會(huì)去屏蔽百度蜘 蛛啊?因?yàn)榫W(wǎng)站是剛做好的，而且他本人也有學(xué)習(xí)SEO，所以也知道關(guān)于robots文件方面的內(nèi)容，明白做一個(gè)新網(wǎng)站可以暫時(shí)屏蔽百度蜘蛛，等網(wǎng)站做好了在提高給百度，并且把robots文件修改下，允許百度抓取�？赡茏詈笫撬浟税�，把這么關(guān)鍵的一步給忘記了，導(dǎo)致他幸幸苦苦做的網(wǎng)站和外鏈一夜回到解 放前了。不做死就不會(huì)死啊，那段時(shí)間他真的很痛苦，整個(gè)人的情緒也不是很高。
小貓想通過這個(gè)小伙伴的經(jīng)歷提醒大家去重視 robots文件這個(gè)問題。robots很重要，請(qǐng)不要輕易的忽視了，順便小貓也說說自己做robots文件的一些經(jīng)驗(yàn)，我記得在網(wǎng)站剛開始的時(shí)候，小貓 也沒有注意robots文件這個(gè)東西，覺得這個(gè)東西無所謂啦。然后通過一段時(shí)間自己摸索，小貓發(fā)現(xiàn)自己錯(cuò)了，小貓開始重視這個(gè)問題，然后把網(wǎng)站上一些垃圾 的、不想推的頁(yè)面和圖片全都給屏蔽了，頁(yè)面主要都是動(dòng)態(tài)的，大家都知道百度喜歡的是靜態(tài)的頁(yè)面，如果你的網(wǎng)站是動(dòng)態(tài)的，會(huì)造成搜索引擎的多次抓取，給度娘 的態(tài)度很不友好，浪費(fèi)的蜘蛛的時(shí)間和資源，你說度娘會(huì)對(duì)你的網(wǎng)站有所青睞嗎?還有圖片也是采集其他網(wǎng)站上的，百度會(huì)抓取一些原創(chuàng)圖片，如果你的網(wǎng)站再次使 用，就會(huì)導(dǎo)致百度認(rèn)為你的網(wǎng)站是抄襲和偽原創(chuàng)的，這導(dǎo)致的后果不用小貓?jiān)谶@里啰嗦了吧?
小貓總結(jié)：
說了這么多，小貓只是要提醒站長(zhǎng)小伙伴重視r(shí)obots文件，這關(guān)系到自己網(wǎng)站的流量，網(wǎng)站要是沒有流量了，那么站長(zhǎng)小伙伴還做網(wǎng)站干嘛?這也關(guān)系到養(yǎng)家糊口嘛，嘿嘿，小貓說的有點(diǎn)遠(yuǎn)了，今天就白話到這吧，我們明天再見!
本文由中國(guó)防水涂料網(wǎng) http://www.chinafstl.com/小貓?jiān)瓌?chuàng)首發(fā)，轉(zhuǎn)載請(qǐng)注明!