首先我們來分析下是什么原因?qū)е骆溄幼ト‘惓#ト‘惓R话愣际莾煞N原因?qū)е碌姆謩e是:網(wǎng)站異常和鏈接異常,那么又是什么原因?qū)е碌木W(wǎng)站異常和鏈接異常呢?今天小編就來給大家分析一下個(gè)人見解。 一、網(wǎng)站異常 1、dns異常 當(dāng)Baiduspider無法解析您網(wǎng)站的IP時(shí),會出現(xiàn)DNS異常。可能是您的網(wǎng)站IP地址錯(cuò)誤,或者域名服務(wù)商把Baiduspider封禁。請使用WHOIS或者h(yuǎn)ost查詢自己網(wǎng)站IP地址是否正確且可解析,如果不正確或無法解析,請與域名注冊商聯(lián)系,更新您的IP地址。 2、連接超時(shí) 抓取請求連接超時(shí),可能原因服務(wù)器過載,網(wǎng)絡(luò)不穩(wěn)定。可以再次測試抓取 3、抓取超時(shí) 抓取請求連接建立后,下載頁面速度過慢,導(dǎo)致超時(shí),可能原因服務(wù)器過載,帶寬不足。 4、連接錯(cuò)誤 無法連接或者連接建立后對方服務(wù)器拒絕。 二、鏈接異常 1、訪問被拒絕 爬蟲發(fā)起抓取,httpcode返回碼是403。 2、找不到頁面 爬蟲發(fā)起抓取,httpcode返回碼是404。 3、服務(wù)器錯(cuò)誤 爬蟲發(fā)起抓取,httpcode返回碼是5XX。 4、其他錯(cuò)誤 爬蟲發(fā)起抓取,httpcode返回碼是4XX,不包括403和404。 抓取異常工具使用說明:Baiduspider無法正常抓取,就是抓取異常,對于大量內(nèi)容無法正常抓取的網(wǎng)站,搜索引擎會認(rèn)為網(wǎng)站存在用戶體驗(yàn)上的缺陷,并降低對網(wǎng)站的評價(jià),在抓取、索引、權(quán)重上都會受到一定程度的負(fù)面影響,最終影響到網(wǎng)站從百度獲取的流量。 |