一、搜查引擎的蜘蛛，是不是爬得越多越好
當(dāng)然不是!不管什么搜查引擎的爬蟲(chóng)，來(lái)抓取你網(wǎng)站的頁(yè)面的時(shí)候，判斷在消耗你的網(wǎng)站資源，例如網(wǎng)站的連接數(shù)、網(wǎng)絡(luò)帶寬資源、服務(wù)器的負(fù) 載、甚至還有盜鏈等。不是所有的搜查引擎蜘蛛都是有用的。另外，搜查引擎的爬蟲(chóng)來(lái)抓取你的頁(yè)面數(shù)據(jù)后，它也不一定收用數(shù)據(jù)。只代表它“到此一游”留下痕跡 罷了，有的搜查引擎室成心過(guò)來(lái)找它想要的資源，甚至還有很多是開(kāi)發(fā)人員的蜘蛛測(cè)試。
對(duì)一個(gè)原創(chuàng)內(nèi)容豐富，URL結(jié)構(gòu)公道易于爬取的網(wǎng)站來(lái)說(shuō)，幾乎就是各種爬蟲(chóng)的盤(pán)中大餐，很多網(wǎng)站的拜訪流量形成當(dāng)中，爬蟲(chóng)帶來(lái)的流量要遠(yuǎn)遠(yuǎn)超過(guò)實(shí)在 用戶拜訪流量，甚至爬蟲(chóng)流量要高出實(shí)在流量一個(gè)數(shù)量級(jí)。像進(jìn)步網(wǎng)站有效利用率誠(chéng)然設(shè)置了相稱嚴(yán)格的反爬蟲(chóng)策略，然而網(wǎng)站處理的動(dòng)態(tài)懇求數(shù)量仍然是實(shí)在用戶 拜訪流量的2倍?？赡芘袛嗟恼f(shuō)，當(dāng)今互聯(lián)網(wǎng)的網(wǎng)絡(luò)流量至少有2/3的流量爬蟲(chóng)帶來(lái)的。因此反搜查引擎爬蟲(chóng)是一個(gè)值得網(wǎng)站長(zhǎng)期摸索跟解決的問(wèn)題。
?
搜查引擎爬蟲(chóng)對(duì)網(wǎng)站的負(fù)面影響
1.網(wǎng)站有限的帶寬資源，而爬蟲(chóng)的量過(guò)多，導(dǎo)致畸形用戶拜訪緩慢。原本虛構(gòu)主機(jī)主機(jī)的連接數(shù)受限，帶寬資源也是有限。這種情況搜查引擎爬蟲(chóng)受影響顯現(xiàn)更明顯。
2.搜查引擎爬蟲(chóng)過(guò)頻密，抓取掃描很多無(wú)效頁(yè)面。甚至抓頁(yè)面抓到服務(wù)器報(bào)502、500 、504 等服務(wù)器內(nèi)部錯(cuò)誤了，蜘蛛爬蟲(chóng)還在不停使勁抓取。
3.與網(wǎng)站主題不相干的搜查引擎爬蟲(chóng)消耗資源。
典范的例子搜查引擎“一淘網(wǎng)蜘蛛為一淘網(wǎng)抓取工具。被各大電子商務(wù)購(gòu)物網(wǎng)站屏蔽。拒絕一淘網(wǎng)抓取其商品信息及用戶產(chǎn)生的點(diǎn)評(píng) 內(nèi)容。被禁止的起因首先應(yīng)當(dāng)是它們之間不配合互利的關(guān)聯(lián)，還有就是EtaoSpider爬蟲(chóng)是一個(gè)抓取猖狂的蜘蛛。統(tǒng)計(jì)發(fā)明EtaoSpider爬蟲(chóng) 的一天爬行量比“百度蜘蛛：Baiduspider”“360蜘蛛：360Spider”“SOSO蜘蛛：Sosospider”等主流蜘蛛爬蟲(chóng)多多少倍， 并且是遠(yuǎn)遠(yuǎn)的多。重點(diǎn)是EtaoSpider被抓取只會(huì)消耗你的網(wǎng)站資源，它不會(huì)給你帶來(lái)拜訪量，或者其它對(duì)你有利用的。
4.一些搜查引擎開(kāi)發(fā)程序員，它們寫(xiě)的爬蟲(chóng)程序在測(cè)試爬行。
5.robots.txt文件不是!
判斷有很多人認(rèn)為，在robots.txt設(shè)置屏蔽搜查引擎爬蟲(chóng)即可，或者容許某些特定的搜查引擎爬蟲(chóng)，能達(dá)到你料想后果。不錯(cuò)正規(guī)搜查引擎會(huì)依照規(guī) 則，不過(guò)不會(huì)及時(shí)生效。然而實(shí)際中某些蜘蛛往往不是這樣的，先掃描抓取你的頁(yè)面，疏忽你的robots.txt。也可能它抓取后不一定留用;或者它只是統(tǒng) 計(jì)信息，收集互聯(lián)網(wǎng)行業(yè)趨勢(shì)剖析統(tǒng)計(jì)。
6.還有一種它們不是蜘蛛，但其有蜘蛛的特點(diǎn)。例如采集軟件，采集程序，網(wǎng)絡(luò)掃描e-mail地址的工具，各式各樣的SEO剖析統(tǒng)計(jì)工具，千奇百怪的網(wǎng)站漏洞掃描工具等等。
二、有效指引搜查引擎對(duì)應(yīng)的辦法，及解決方法：
1.依據(jù)空間流量實(shí)際情況，就保存多少個(gè)常用的屏蔽掉其它蜘蛛以節(jié)儉流量。以臨時(shí)空間流量還足夠利用，先保障畸形瀏覽器優(yōu)先。
2.從服務(wù)器防火墻iptable直接屏蔽蜘蛛IP段、具體的IP。這是直接、有效的屏蔽方法。
3.WWW服務(wù)器層面做限度。例如Nginx，Squid，Lighttpd，直接通過(guò)“http_user_agent”屏蔽搜查引擎爬蟲(chóng)。
4.后robots.txt文件做限度。搜查引擎國(guó)際規(guī)矩還是要遵守規(guī)矩的。
