在我研究使用AI做SEO時, 發現Crawling budget是一大重點, 原因是如果Google 派不足夠Crawling Budget到你的網站, 無法使你的AI文章收錄﹐再算你的文章寫得再多再好也沒用。(更何況用AI寫文章﹐每秒寫1000篇也很輕鬆)
所以我重點使用了以下3點優化我的Crawling budget:
1.棄用Wordpress 棄用mysql
WordPress實在是太慢了﹐我實驗過使用一個新建的Wordpress網站﹐使用了最快的Theme 例如generatepress﹐加上wordpress rocket plugin . 壓縮所有css , javascript , gzip , lazyloading, CDN 將所有技術都加到Wordpress網站上。
Search console後台也只能最快去到852ms.. 也是很慢. Google 建議這個平均回應時間是要300ms以內的.
所以我將網站轉用bootstrap css + mongodb + 棄用了wordpress+mysql .這樣結果快了近5倍
2. 將Hosting location轉到美國西部
Google Bot 大部份9成的位置是在一個美國西部的MountainView城市內的﹐所以如果你的網站Hosting在香港, 新加坡等地方. 是絕對不能做到很快的平均回應時間 (因為也走了半個地球對吧)。
所以我使用linode的hosting ,將網站存在了Fremont的地方. 看地圖就知道, 這是Google bot 極接近的地方, 只要隔一段海就到了。
3. 將網站內部極Lite輕度化﹐減低GoogleBot負荷
Google不會討厭又快又輕的網頁吧. 於是我將網頁極輕度化, page size只有140kb, 只需要做5個requests就可以將網站完全loaded.
這樣的方法. 將我的網站crawling budget 最少5倍化.