如何診斷百度蜘蛛是否能夠正常抓取網站內容
百度seo教程認為很多網站因使用JavaScript代碼或框架結構等問題,不能被百度蜘蛛所抓取。這里進行診斷也是為了防止蜘蛛來網站后,因為不能正常抓取而離開,導致網站收錄很差,快照不更新等問題。
如果診斷結果有問題,則需要修正問題,提升與百度蜘蛛的友好度。
百度官方在線抓取診斷工具,選好網站(主頁或其他頁面)后,選擇PC UA 或者移動UA,最后點擊“抓取”即可。
稍等片刻,刷新頁面會顯示“抓取成功”,或者失敗。可以點擊查看“抓取成功”或失敗的詳細信息。
1.1.7 如何通過百度蜘蛛IP得知網站狀態?
百度SEO教程認為以下內容僅供參考。
1)抓取你網站的網頁蜘蛛
60.172.229.61
61.129.45.72
61.135.162.*
2)百度競價蜘蛛
61.135.165.134
117.34.74.66
118.122.188.194
119.63.196.9
125.39.78.185
3)百度統計的蜘蛛
61.135.186.*
4)站長工具的模仿的百度蜘蛛
61.147.98.146
61.188.39.16
113.98.254.245
117.21.220.245
117.28.255.42
5)搜外站長工具的模仿的百度蜘蛛
124.248.34.52
6)114站長工具箱模仿的百度蜘蛛
119.147.114.213
121.10.141.*
7)百度圖片蜘蛛
123.15.**.**
8)抓取網站內頁收錄的權重較低的非原創,需要通過一段時間考察
123.125.71.*
9)站長工具檢測造成的無用
125.90.88.*
10)百度考察期蜘蛛或降權蜘蛛
159.226.50.*
180.76.5.*
180.76.5.87
220.181.158.107
11)偽裝百度蜘蛛
180.149.130.*
12)新站及站點有不正常現象
183.91.40.144
203.208.60.*
13)不間斷巡邏各站就是路過
210.72.225.*
14)沙盒或者有被K站
123.125.68.*
218.30.118.102
220.181.68.*
15)此ip爬過的文章或首頁,絕對24小時內放出來和隔夜快照
220.181.108.*
16)百度蜘蛛IP來過,準備抓取
123.125.66.*
220.181.7.*
17)度過新站考察期
121.14.89.*
18)百度抓取首頁的專用IP,網站首頁快照更新快,隔夜更新
220.181.108.95
19)百度的權重IP段,抓取的文章第二天放出來,權重較高
220.181.108.92
20)綜合性權重IP,抓取文章和首頁,權重較高
220.181.108.91
220.181.108.75
21)抓取內頁收錄的,但權重較低
123.125.71.95
123.125.71.97
123.181.108.77
123.125.71.106
22)抓取網站首頁的,也屬于權重段,權重較高。
220.181.108.89
220.181.108.94
220.181.108.97
220.181.108.80
220.181.108.77
220.181.108.83
220.181.108.86