吉林市網(wǎng)絡(luò)公司,吉林市網(wǎng)站建設(shè),吉林市網(wǎng)站制作,吉林市網(wǎng)頁設(shè)計(jì),吉林市小程序,吉林市微信小程序,吉林市微信公眾號(hào),吉林市軟件開發(fā),吉林市做網(wǎng)站哪家好
|
|
什么是百度蜘蛛的referer
百度蜘蛛的referer，是指當(dāng)百度蜘蛛抓取某一個(gè)URL的時(shí)候，在HTTP頭中帶的Referer字段。請注意，這個(gè)定義和百度最近聲明去除Referer中關(guān)鍵詞數(shù)據(jù)沒有任何關(guān)系。這次講的是spider發(fā)起的HTTP請求，百度而去除的是用戶發(fā)起的。如果百度蜘蛛抓取百度首頁的logo，會(huì)發(fā)起這樣的請求：
上面Referer字段很明確的表示了他是從www.baidu.com這個(gè)頁面上發(fā)現(xiàn)并抓取了www.baidu.com/img/bd_logo1.png。而大家在服務(wù)器訪問日志中也應(yīng)該能看到相應(yīng)的記錄。目前發(fā)現(xiàn)只有當(dāng)百度抓取一個(gè)網(wǎng)頁的同時(shí)，又抓取了網(wǎng)頁中的：img、js和css才會(huì)帶上referer字段。這部分額外的抓取量，應(yīng)該不會(huì)占用百度分配的抓取配額，屬于“買1送1”。
如果你發(fā)現(xiàn)有一批URL（僅限于img,js,css）報(bào)錯(cuò)（4xx或者5xx），但是一直找不到入口在哪，也就是說你不明白百度蜘蛛是從哪里發(fā)現(xiàn)這些錯(cuò)誤URL的。這個(gè)字段可以幫助你迅速定位。
比如我們的SEO日志分析系統(tǒng)中可以看到，符合下面這種URL Pattern的路徑每天有6萬到10萬的抓取而且全部報(bào)404。
從發(fā)現(xiàn)問題至今過了1個(gè)月，查遍整個(gè)網(wǎng)站我也沒找到入口。今天偶然仔細(xì)查了一下日志，想起了百度蜘蛛的referer，馬上就能定位問題了。這些404的URL來自于一套沒人維護(hù)也沒人關(guān)注的頁面（往往是這樣）。收錄流量都不錯(cuò)。由于最近公司圖片系統(tǒng)更新。
如果站點(diǎn)沒有記錄referer怎么辦
iis請?jiān)谶@里勾選“cs(Referer)”：
apache請參考:
apache log配置“Combined Log Format”章節(jié)
apache log配置的官方鏈接
Nginx請參考：
nginx log配置
nginx log配置的官方鏈接
· 很多SEO問題并不是立即致命的，所以沒有及時(shí)解決。流量就像螞蟻啃大象一樣一點(diǎn)一點(diǎn)啃掉了。
· 系統(tǒng)性的知識(shí)積累還是會(huì)在關(guān)鍵時(shí)刻發(fā)揮作用的。
上一篇：吉林市網(wǎng)站建設(shè)建站方案之教育培訓(xùn)類網(wǎng)站建設(shè)
下一篇：吉林市網(wǎng)絡(luò)營銷：如何獲取有效客戶？
