fbpx

關於搜尋引擎索引和網站地圖 sitemap 的問題

網站地圖 Sitemap 的作用是提供輔助資訊給搜尋引擎進行索引 (例如個別 Universal Resource Identifier (URI) 資源的更新頻率 、最後更新日期等等)。網站地圖的作用和結構是很容易理解,做法一般看起來很簡單。就是將網站進行一次全面的爬行 (例如用 ScreamingFrog 工具), 將所有的 URI 都放在網站地圖 XML 檔案裏面。但事實並不是那麼簡單,例如你的網站 URI 可以很多種類:文章、帖子、產品、作者、圖片、 視頻、 分類、標籤、portfolio 等等。你當然可以要求全部 URI 都放在網站地圖裏面。但放與不放其實是一個質量的考慮,例如 portfolio 內是你的一些客戶實例,但內容只有一張圖片。這張圖片基本上以圖像 URI  的形式已經加到索引數據庫中,再索引這個 portfolio 的意義不大,因為其實是一個 剪薄內容 thin content, 在這種情況下你應該選擇不索引這個 portfolio, 為什麼呢?

何時選擇不索引

內容淺薄。一般都相信搜尋引擎對網站是有一個質量評分 Quality Score。質量評分很可能是來自 各個被索引的 URI 的質量計算,所以一些質量低單薄的內容可能會將整體網站的質量評分拖低,所以就有儘可能不索引一些淺薄的內容的說法。淺薄的內容一般無法在搜尋引擎排名中取得高位,只能在訪客進入網站以後透過內部的結連訪問得到,所以不索引淺薄的內容對吸引自然搜尋流量是沒有負面影響。既然搜尋引擎索引網站的內容是要消耗 crawl budget 爬行預算, 所以不索引一些冇排名價值的內容,是善用爬行預算,增加質量評分的手段。

一些專業的建立網站地圖的工具,例如 WordPress 上面的 Yoast SEO 插件,就可以讓你自由設定當建立網站地圖時,是否要加入不同類型的 URI

yoast content type

甚至你可以在個別的頁面決定是否索引該頁面,做法就是將頁面定義為 content=”noindex”。

yoast no index

除了質量的考慮,很多時候為了防範黑客入侵,不想將太多的網站結構性資料曝光在搜尋用戶面前。你可以透過 robots.txt 提示搜尋引擎不要索引網站內的一些目錄,避免一些敏感資料可能在不經意的情況下被搜尋引擎取得到而暴露在黑客的面前。 同時亦可善用爬行預算。

robots.txt for wordpress

另一個原因不索引是考慮到 cannibalization 關鍵字競食的問題。當兩個內容非常相近的 url 同時被收錄到索引資料庫是,對搜尋引擎可能會造成混亂:究竟當關鍵字搜尋查詢時該列出 a 頁還是b 頁呢?很多blogger 新手誤解標籤和分類的用法,將標籤和分類都標示為同一個關鍵字,這樣其實也造成了關鍵字競食的問題。但如果這個 B 頁 URL 是沒有排名價值,但在訪客立場是一個熱門瀏覽的網頁,只是瀏覽是透過內部結連所引發。這個時候不單純是不索引,更應該將訪問瀏覽可能帶來的排名優勢歸到 A 頁。這亦是 Yoast SEO 插件標準網址 Standard URL 的用法。

yoast standard URL


檢查索引狀態

你如何知道某 URL 是否比索引。你可以在 Google Search Console (GSC) 的後台輸入 URL 然後 (選 “網址審查”),查詢是否被索引了。當發現內容不被索引時你可以要求 Google 進行單獨索引該 URL 。

網址審查

你可以在搜尋頁面輸入一個 site 指令,看看你整個網站有多少頁面已經被放在索引 資料庫中。搜尋引擎有時會為同一個url的不同版本保留索引資料,特別是當這個改動只是在元標題 meta title 和元描述 meta description 中時。 保留索引資料的做法是對配對用戶搜尋查詢時有更多的選擇。

site command

當你發現索引資料庫中的項目數量比你整個網站的頁面和產品的總和都多很多,就可能表示是由於一些 URL 參數 (例如產品篩選) 所衍生出來的網址。數量太多表示爬行預算會受到影響,你應該採取行動,例如在 GSC 中將該參數排除。


URL 不被索引的可能

如果你的網站很大。索引可能需要時間。如果您發現某些 URL 尚未編入索引則是合理的。有幾種情況下 URL 可能不被索引:

  • 例如當搜尋引擎發現類似的內容已經被加入到索引資料庫裏面。最常見的例子就是產品的描述是一模一樣,例如你將同一件衣服大中細碼變成三個不同的產品,搜尋引擎就可能只索引其中一件產品,另外兩個搜尋引擎會看成重複的內容不索引。
  • 技術性問題。例如當你採用一些特別的技術如 AMP 網頁技術時,當搜尋引擎發現一些網頁的內部問題不符合技術規格時,就可能決定不索引這個網頁然後回報錯誤,你需要在 GSC 後台查看錯誤,修正問題然後再重新提交  URL。

搜尋引擎索引速度

雖然你可以在網站地圖之中告訴搜尋引擎 URL 更新頻率,但這並不表示搜尋引擎會根據您提供的信息,更頻密訪問您的網站 。搜尋引擎決定是否在進行索引是考慮先前 索引你網站時所發現的優質內容有多少和更新有多少。當越多優質內容網站更新越頻密,搜尋引擎自然會更多訪問你的網站進行索引。索引的速度快慢不是你付錢給 搜尋引擎公司可以改變的。

更多關於我們的SEO服務

Facebook Comments

關於 WaiTing LI

SEO專家地位並非紙上談兵自說自話而來,應該是基於由同業又或者權威的獨立第三方給予的評價。SEO專家地位大致可以從 Google 給予你所競逐一大籃子競爭性高的關鍵字排名結果推斷出來。我關於宣傳推廣、網店、SEO優化的文章取得很高排名,是搜尋引擎給予我專家效應的結果。

也查看

meta description 字數

從元描述 meta description 字數, 長度看 SEO spam 垃圾

如果你問元標題 meta de …

發佈留言