網(wǎng)站建設(shè)時應(yīng)該盡量避免死鏈的產(chǎn)生
建站時,由于一些操作,導(dǎo)致正常的網(wǎng)站無法被搜索引擎爬蟲訪問到,導(dǎo)致搜索引擎認(rèn)為該頁面是死鏈接。除了頁面打不開之外,以下幾點(diǎn)也會導(dǎo)致網(wǎng)站死鏈接的產(chǎn)生。
減少死鏈接的產(chǎn)生是SEO工作者的必修課。
不正確的 HTTP/HTTPS 設(shè)置會導(dǎo)致鏈接斷開
問題場景:
1.HTTP可以訪問,HTTPS不能訪問
2.HTTP無法訪問,HTTPS可以訪問
建議:
整個站點(diǎn)的行為是一致的,保證所有的url都是正常的 另外,百度不推薦HTTP和HTTPS共生。
阻塞導(dǎo)致死鏈接
問題場景:
1、用戶可以正常訪問,但是爬蟲不能。 (爬蟲爬錯頁面)
有些網(wǎng)站由于其特殊性,用戶可以正常訪問,但是當(dāng)爬蟲訪問時,卻返回了錯誤的頁面。
2、PC端可以訪問,搜索引擎APP無法訪問
搜索引擎爬蟲可以訪問PC端頁面,但是不能訪問APP。百度官方公開課提到了這個APP接入,暗示支持對APP接入進(jìn)行分析,作為綜合評測參考。因此,百度APP訪問該網(wǎng)站并未被屏蔽。
3. DNS 禁令
一些特定的DNS服務(wù)商會禁止搜索引擎爬蟲抓取域名內(nèi)容。這是少數(shù)。畢竟目前主流的域名廠商和主流的DNS廠商都沒有做DNS屏蔽。
4.服務(wù)器站點(diǎn)政策禁止
有些服務(wù)器有自己的安全策略,會阻止百度蜘蛛爬行。在這種情況下,將生成死鏈接(網(wǎng)頁 URL 鏈接,但沒有內(nèi)容)。當(dāng)整個站點(diǎn)都出現(xiàn)這種情況時,可能會導(dǎo)致搜索引擎將該站點(diǎn)判斷為劣質(zhì)站點(diǎn)。將被降職。