百度蜘蛛介紹及優化方法
重所周知百度是靠百度蜘蛛來抓取網頁,那我們在網站優化SEO的過程當中要注意什么呢,我們先了解一下什么是百度度蜘蛛(aiduspider)
什么是baiduspider? baiduspider是百度搜索引擎的一個自動程序。它的作用是訪問互聯網上的html網頁,建立索引數據庫,使用戶能在百度搜索引擎中搜索到您網站的網頁。
baiduspider對一個網站服務器造成的訪問壓力如何? baiduspider會自動根據服務器的負載能力調節訪問密度。在連續訪問一段時間后,baiduspider會暫停一會,以防止增大服務器的訪問壓力。所以在一般情況下,baiduspider對您網站的服務器不會造成過大壓力。
為什么baiduspider不停的抓取我的網站? 對于您網站上新產生的或者持續更新的頁面,baiduspider會持續抓取。此外,您也可以檢查網站訪問日志中baiduspider的訪問是否正常,以防止有人惡意冒充baiduspider來頻繁抓取您的網站。 如果您發現baiduspider非正常抓取您的網站,請反饋至webmaster@baidu.com,并請盡量給出baiduspider對貴站的訪問日志,以便于我們跟蹤處理。
我不想我的網站被baiduspider訪問,我該怎么做? baiduspider遵守互聯網robots協議。您可以利用robots.txt文件完全禁止baiduspider訪問您的網站,或者禁止baiduspider訪問您網站上的部分文件。 注意:禁止baiduspider訪問您的網站,將使您的網站上的網頁,在百度搜索引擎以及所有百度提供搜索引擎服務的搜索引擎中無法被搜索到。
為什么我網站已經加了robots.txt,還能在百度搜索出來? 因為搜索引擎索引數據庫的更新需要時間。雖然baiduspider已經停止訪問您網站上的網頁,但百度搜索引擎數據庫中已經建立的網頁索引信息,可能需要二至四周才會清除。 另外也請檢查您的robots配置是否正確。
我希望我的網站內容被百度索引但不被保存快照,我該怎么做? baiduspider遵守互聯網meta robots協議。您可以利用網頁meta的設置,使百度顯示只對該網頁建索引,但并不在搜索結果中顯示該網頁的快照。 和robots的更新一樣,因為搜索引擎索引數據庫的更新需要時間,所以雖然您已經在網頁中通過meta禁止了百度在搜索結果中顯示該網頁的快照,但百度搜索引擎數據庫中如果已經建立了網頁索引信息,可能需要二至四周才會在線上生效。
百度蜘蛛在robots.txt中的名字是什么? “Baiduspider” 首字母B大寫,其余為小寫。
baiduspider多長時間之后會重新抓取我的網頁? 百度搜索引擎每周更新,網頁視重要性有不同的更新率,頻率在幾天至一月之間,baiduspider會重新訪問和更新一個網頁。
baiduspider抓取造成的帶寬堵塞? baiduspider的正常抓取并不會造成您網站的帶寬堵塞,造成此現象可能是由于有人冒充baidu的spider惡意抓取。如果您發現有名為Baiduspider的agent抓取并且造成帶寬堵塞,請盡快和我們聯系。您可以將信息反饋至webmaster@baidu.com,如果能夠提供您網站該時段的訪問日志將更加有利于我們的分析。
針對百度蜘蛛我們相應要采取的網站優化SEO方法有: 1、新站最好前期有一些原創的內容,不用多,因為內容多少不是收錄和排名的原因,關鍵還是在于內容,即使只有一頁,但是也是會有收錄和排名的;原創內容之所以重要,就是它的唯一性,在一開始,寫了原創文章,最好是只在自己網站發布,給搜索引擎一個新鮮感,讓它覺得你的獨特性。曾經做過一個實驗,網站剛開始很多內容都是采集和人為手動添加的,大概有一個月都沒有收錄,就其原因,應該是網站內容的問題。原創的文章如果轉載,最好是待網站收錄這篇文章,或者待這篇文章被蜘蛛爬行過后,即使沒有放出的時候,再將這篇文章轉載了,最好帶上自己的鏈接哦。
2、正確引導蜘蛛;對網站收錄很重要,蜘蛛每天都來就是不收錄,其實這是一個好的兆頭,有蜘蛛爬肯的是好事,說明蜘蛛的引導不錯;蜘蛛來不來,都跟你的外部鏈接是有很大的關系的,所以不要過分的重視收錄頁面的數量,而是一定視蜘蛛的來訪數量和頻率,那么新站如何使得蜘蛛頻繁的訪問呢?建議是:軟文推廣!
我注意到最近的一個現象,軟文經常會出現在一些行業或者地方的資訊和門戶網站上,給網站帶來流量是肯定的,而且在SEO的角度去看,大量的軟文,不僅能帶來活躍的外鏈,而且可以不斷的引導在其它網站上爬行的蜘蛛來訪問你的網站。
3、切勿濫發鏈接,而做正常的友情鏈接;之前我也有在一些博客發布一些內容鏈接,但是目的只是為了引導下蜘蛛的訪問,主要還是以鏈接為主,當然能以軟文帶鏈接是個不錯的方法,但是別寫一篇文章都是鏈接;鏈接很重要,但是也不要濫發鏈接,畢竟鏈接的質量要高于鏈接的數量啊,即使群發也要講究技巧和手段,就個人意見來看,如果不能夠掌握度和技巧還是不發為好,畢竟不會被K。
而正常的友情鏈接是異常重要的,軟文固然可以帶來一定流量和蜘蛛,但穩定的權重一定是交換鏈接帶來的,所以,多交換相同類型的網站鏈接,是一個很不錯的方式。如果你能保證每天能有一個交換鏈接,對于SEO來說是最美妙不過的事情了。
4、不要頻繁修改首頁標題,在排名不穩定的情況下修改,會導致網站降權,主要表現就是關鍵詞排名下降,甚至直接被K。
|