• Mon. - Fri. 09:00-18:00
  • 02-26842510

SEO實戰:如何使用Splunk工具分析網站?

發表時間:2015-02-11 10:30:15
已有 2116 人讀過此信息

近日,國外SEO從業者Eli Schwartz分享了他使用Splunk的幾個心得。以下為Eli Schwarz(下文中的“我”)分享的經驗:
想必每個對SEO技術感興趣的站長都希望能夠從更深層次瞭解網站架構、以及google搜索引擎的排名規則等。從我這些年研究SEO技術的經驗來看,深入分析網站訪問日誌能夠讓我更瞭解搜索引擎是如何“看待”網站的,而在眾多網站分析工具中,Splunk無疑是最讓我放心、也是最實用的一款。
注:Splunk是機器資料的引擎。可用于收集、索引和利用所有應用程式、伺服器和設備(物理、虛擬和雲中)生成的快速移動型電腦資料 。

1、監測網站URL是否已被google爬蟲抓取(百度蜘蛛、雅虎爬蟲亦可監測)
當網站生成了一個新的頁面,站長們最關心的自然是頁面的收錄問題。如果以快照作為指標,或許得在google爬蟲抓取後的幾天(甚至幾個星期)才能確定是否已被收錄。要快點兒的話,可以直接在搜索引擎中搜索相關頁面的標題。
而最行之有效的便是查看網站日誌,便可確定網頁是否已被google爬蟲抓取。這就該用到Splunk了。
具體步驟:
1、首先選擇要查詢的時間段。時間段越短,回應速度自然越快,所以盡可能縮短查詢的時間差。
2、在查詢框中輸入以下查詢語句:
Index = {the name of your index} url stub AND googlebot
比如:如果你索引名是“Primary”,URL是“free-trial.html”,則查詢語句為:
Index=primary free-trial.html AND googlebot

2、查找404頁面
404頁面是一種很招人煩的東西,98%的訪客在看到404頁面時,往往都會直接關閉頁面。這樣一來,你的網站不僅損失了一次展示內容或產品的幾乎,用戶還默默的在心裏給了你個差評。你:以後還來我們網站嗎?用戶:呵呵。
對於404頁面,你可以選擇使用ScreamingFrog之類的工具來查找修復。但是在失效頁面數量太多的情況下,你就該事實日誌解析了。通過日誌解析,你可以找出那些最多人訪問的404頁面,有選擇的來修復頁面、或是做跳轉。
設置Splunk來查找404頁面:
1、首先選擇查找時間差,我通常將其設為30天,你們可以按需隨意設置。
2、在查詢框中輸入以下查詢語句:
Index = {the name of your index} status = 404 | top limit = 50 uri
限制數量可自行確定,我比較喜歡定為50條URL。查詢語句執行完成後,點擊Statistics選項,便可在列表中找出訪客最多的404頁面們。

3、查找設置過302跳轉的頁面
不同於301跳轉,302跳轉屬於暫時重定向。不過在很多鏈結價值測試中,302都能通過測試,而且也有排名。但由於前些年,不少黑帽SEO通過這項技術來獲取排名,如今很多搜索引擎都加大了對其的打擊力度。因而302跳轉只能用於那些只需做暫時跳轉的頁面。
通過Splunk查找302跳轉頁面的步驟:
1、同樣也是先選擇查找時間段,可按需設置,我喜歡將其設為30天。
2、輸入如下查詢語句:
Index = {the name of your index} status = 302 | top limit = 50 uri
跟查找404頁面一樣,可按需設置。

4、統計每天被google搜索引擎抓取的頁面
如果你有用過谷歌管理員工具,那麼你對google抓取URL的展示頁面一定不陌生。但這些資料是否準確,你得查看網站日誌才能確定。
使用Splunk查詢每日抓取的URL步驟:
1、同樣也是選取時間,我還是喜歡設為30天(如果資料較多可以7天為單位)。
2、輸入查詢語句:
index ={name of your index} googlebot | timechart count by day
查詢語句執行完後,點擊Statistics選項,則會看到google爬蟲每天抓取的頁面資料。也可點擊“visualization”選項查看變化詳情。

5、統計google移動端爬蟲每日抓取頁面
隨著移動互聯網的發展,移動搜索也愈發重要。如果想知道google移動爬蟲每天抓取的URL數量,就無法使用谷歌管理員工具了。那麼,就只能通過網站訪問日誌來查看該資料。
下面以iPhone為例,使用Splunk查詢:
1、同樣也是選取時間,我還是喜歡設為30天(如果資料較多可以7天為單位)。
2、輸入以下查詢語句:
index ={name of your index} googlebot AND iphone | timechart count by day
語句執行完畢後,點擊Statistics選項,便可得出所需資料,與PC端一樣,也可以在“visualization”選項中查看更多詳情。

6、找出浪費爬蟲抓取量的垃圾頁面
站長們都知道,搜索引擎對每個網站的抓取數量都有一定的限制,網站的PR或權重不同,抓取“限額”也各異。所以,如果網站中的垃圾頁面被抓取,那麼高質頁面則可能會失去被抓取的機會。
如果不清楚google爬蟲的爬行路徑,則無法知曉google抓取限額的利用率。這時候,就需要使用Splunk來檢測了。
步驟如下:
1、選擇時間段,可隨意選取,最好選擇多個進行對比。
2、輸入以下查詢語句:
index={name of your index} googlebot uri_stem=”*”| top limit=20 uri
限制數量可隨意選取,但20條是比較好管理的。與之前一樣,執行完語句後,點擊statistic選項,而後便可在列表中找出你覺得應該移除的頁面,在robots.txt文件中將其遮罩。

7、500錯誤頁面
當伺服器無法完成HTTP請求時,則會返回500錯誤頁面。很多時候,500錯誤對SEO工作都存在一定的負面影響。其實,在500錯誤影響到搜索排名時,google便會通過管理員工具向站長發送請求中斷資訊,不過這類資訊通常要24小時後才能接收到。
除了影響搜索引擎排名外,500錯誤頁面也會降低網站的用戶體驗度。而加入Splunk工具的Enterprise計畫則可即時監控500錯誤。
步驟如下:
1、搜索如下查詢語句:
index={name of your index} AND “status=5*”
2、點擊“Save As”然後在下拉功能表中選擇“Alert”。
3、命名Alert。
4、將Alert的狀態改為“Real Time”。
5、點擊“Next”。
6、在下個頁面,會出現“Send Email”選項。
7、在輸入框中輸入郵件,然後點擊“Save”。

總結
Splunk可以用於多種SEO工作,可以給工作帶來很大的便利性。如果還沒用過的站長們,不妨嘗試下哦!
 


SEO實戰:如何使用Splunk工具分析網站?

量身打造專屬SEO方案,立刻免費洽詢!

馬上諮詢