正如我們在第1章中提到的,搜索引擎是應答機器。它們的存在是為了發現,理解和組織互聯網的內容,以便為搜索者提出的問題,提供最相關的結果。

為了顯示在搜索結果中,您的內容首先需要先讓搜索引擎看見。它可以說是搜索引擎優化難題中最重要的一部分:如果找不到您的網站,您將無法在SERP(搜索引擎結果頁面)中顯示。

搜索引擎如何運作?

搜索引擎有三個主要功能:

  1. 抓取:在互聯網上搜索內容,查看他們找到的每個網址的代碼和內容。
  2. 索引:存儲和組織找到的內容。一旦頁面在索引中,它就會顯示為相關查詢的結果。
  3. 排名:提供最能回答搜索者查詢的內容。通過對特定查詢最有幫助的搜索結果排序。

什麼是搜索引擎抓取?

抓取是搜索引擎發送一組機器人(稱為爬蟲或蜘蛛)去發現新的網頁或是更新的網頁。內容可能是網頁、圖片、視頻、PDF等 – 但無論格式如何,內容都是通過鏈接發現的。

機器人首先獲取幾個網頁,然後按照這些網頁上的鏈接查找新的URL。通過這條鏈結,爬行器能夠找到新內容並將其添加到它們的索引” 一個URL的龐大數據庫”以便稍後在用戶搜索。

什麼是搜索引擎索引?

搜索引擎處理並存儲他們在索引中找到的信息,索引是他們發現並認為足以為搜索者提供服務的所有內容的龐大數據庫。

搜索引擎排名

當人們執行搜索時,搜索引擎會在其索引中搜索高度相關的內容,然後對該內容進行排序,以解決搜索者的查詢問題。搜索結果按相關性排序稱為排名。通常,您可以假設網站排名越高,搜索引擎認為該網站對查詢的相關性就越高。

你也可以阻止搜索引擎抓取你的部分網站或是全部網站,或指示搜索引擎避免在索引中存儲某些網頁。但如果您希望搜索者找到您的內容,則必須首先確保爬蟲可以訪問它並且可以編制索引。否則,你的網頁就像透明一樣。

並非所有搜索引擎在SEO中都是平等的

許多初學者都對特定搜索引擎的相對重要性感到疑惑。大多數人都知道Google擁有最大的市場占有率,但對於Bing、Yahoo等其他公司進行優化有多重要?事實是,儘管存在超過30個主要的網絡搜索引擎,SEO社群只關注Google。為什麼?簡短的回答是Google是絕大多數人搜索網絡的地方。如果我們包括Google圖片,Google地圖和YouTube,超過90%的網絡搜索發生在Google – 這是Bing加上Yahoo的近20倍。

抓取:搜索引擎可以找到您的網站嗎?

正如您剛剛了解到的那樣,為了確保你的網站被抓取到並且編入搜索最後顯示在SERP中,首先要做的事,你可以使用”site:你的網址”來查看Google索引你那些葉面。

前往Google並在搜索欄中輸入“site:你的網站 ”。這將返回Google在其指定網站的索引中的結果:

SEO初學者指南 – 第2章:抓取、索引、排名 1

想要獲得更準確的結果,請在Google Search Console中監控並使用“索引覆蓋率”報告。如果您目前沒有Google帳戶,可以註冊免費的Google Search Console帳戶。使用此工具,您可以為您的網站提交sitemap,並監控實際添加到Google索引的已提交頁面的數量等。

如果您沒有在搜索結果中發現任何網頁,則可能有以下幾種原因:

  • 您的網站是全新的,尚未抓取。
  • 您的網站未鏈接到任何外部網站。
  • 您網站的網址使得爬蟲很難有效的抓取。
  • 您的網站有阻止爬蟲的程式碼。
  • 您的網站因Google垃圾郵件策略而受到了處罰。

如果您的網站沒有鏈接到其中的任何其他網站,您仍然可以通過在Google Search Console中提交XML.Sitemap或手動向Google提交單個網址來將其編入索引。

搜索引擎可以看到您的整個網站嗎?

有時,搜索引擎可以通過抓取來查找您網站的某些部分,但其他頁面或部分可能會因某種原因而模糊不清。確保搜索引擎能夠發現您想要編入索引的所有內容,而不僅僅是您的主頁,這一點非常重要。

您的內容需要登入網站才能看見嗎?

如果您要求用戶在訪問某些內容之前登錄,填寫表單或回答調查,搜索引擎將無法看到這些受保護的頁面。爬蟲絕對不會登錄。

您是否依賴搜索表單?

機器人無法使用搜索表單。有些人認為,如果他們在自己的網站上放置搜索框,搜索引擎就能找到訪問者搜索的所有內容。

文本是否隱藏在非文本內容中?

非文本媒體表單(圖片,影片,GIF等)不應用於顯示您希望編入索引的文本。雖然搜索引擎在識別圖像方面越來越好,但仍無法保證他們能夠閱讀和理解圖像。最好在網頁的中添加文本。

搜索引擎可以關注您的網站導航嗎?

正如爬蟲需要通過其他網站的鏈接發現您的網站一樣,它需要您自己網站上的鏈接路徑,以便在頁面之間引導它。如果你有一個頁面,你希望搜索引擎找到它,但它沒有鏈接到任何其他頁面,他就沒有一樣。許多網站都在以搜索引擎無法訪問的方式構建導航,這樣根本沒有用。

常見的導航錯誤可能會使抓取工具無法看到您的所有網站:

  • 移動導航顯示的結果與桌面導航不同
  • 例如啟用JavaScript的導航。Google在抓取和理解Javascript方面做得更好,但它能然不是要個抓取的方法。為了確保Google發現,理解和索引某些內容的更加可靠的方法是將其放入HTML中。
  • 對於特定類型的訪問者而言,個性化或顯示獨特的導航與其他訪問者相比,可能會隱藏在搜索引擎抓取工具中
  • 忘記通過導航鏈接到您網站上的主頁。請記住,鏈接是抓取工具跟隨新頁面的路徑!

這就是為什麼您的網站必須具有清晰的導航和有用的URL結構。

信息架構

信息架構是在網站上組織和標記內容以提高用戶效率和可資性的實踐。最好的信息架構是直觀的,這意味用戶不用很努力地去尋找他要的內容。

當訪問者點擊死鏈接或錯誤輸入網址時,您的網站還要有一個有用的404(頁面未找到)頁面。最好的404頁面會允許用戶點擊回到您的網站,這樣他們就不會因為他們試圖訪問不存在的鏈接而無法進到你的網站。

SEO初學者指南 – 第2章:抓取、索引、排名 2

要如何告訴搜索引擎抓取您的網站

除了確保抓取工具可以訪問您最重要的網頁之外,還要注意您的網站上有沒有布希望他們找到的網頁。這些可能包括具有精簡內容的舊URL,重複的URL,特殊促銷代碼頁或測試頁等等。

通過抓取工具指令,您可以使用robots.txt文件,元標記,sitemap.xml文件或Google Search Console來控制Googlebot要抓取和索引的內容。

robots.txt

Robots.txt文件位於網站的根目錄(例如:你的網址.com/robots.txt)中,並建議您的網站搜索引擎的哪些部分應該也不應該通過特定的robots.txt指令進行抓取。

專家提示:

  • 如果Googlebot無法找到網站的robots.txt文件(40X HTTP狀態代碼),則會繼續抓取該網站。
  • 如果Googlebot找到網站的robots.txt文件(20X HTTP狀態代碼),它通常會遵守這些建議並繼續抓取該網站。
  • 如果Googlebot既未找到20X或40X HTTP狀態代碼(例如501服務器錯誤),則無法確定您是否擁有robots.txt文件,並且不會抓取您的網站。

Meta指令

如果您想大規模阻止搜索引擎,x-robots標記提供了更多的靈活性和功能,因為您可以使用正則表達式,阻止非HTML文件以及應用全站的noindex標記。

這些是阻止搜索引擎中更敏感的* /私人URL的最佳選擇。

*對於非常敏感的URL,最佳做法是從中刪除它們或要求安全登錄以查看頁面。

WordPress提示:在儀表板>設置>閱讀中,確保未選中“搜索引擎可見性”框。這會阻止搜索引擎通過您的robots.txt文件訪問您的網站!

避免這些常見的陷阱,並且您將擁有乾淨,可抓取的內容,以便機器人輕鬆訪問您的網頁。

一旦確保您的網站已被抓取,下一個目標就是確保將其編入索引。

Sitemap

Sitemap:指的是網站上的網址列表,抓取工具可以使用這些網址來發現和索引您的內容。確保Google找到最高優先級網頁的最簡單方法之一是創建符合Google標準的文件,並通過Google Search Console提交。雖然提Sitemap並不能取代對良好站點導航的需求,但它肯定可以幫助爬蟲跟踪所有重要頁面的路徑。

Google Search Console

某些網站(最常見的是電子商務)通過將某些參數附加到網址,在多個不同的網址上提供相同的內容。如果您曾在網上購物,則可能會通過過濾器縮小搜索範圍。例如,您可以在亞馬遜上搜索“鞋子”,然後按大小,顏色和样式優化搜索。每次細化時,URL都會略有變化。Google如何知道向搜索者提供哪個版本的網址?Google在確定代表性網址方面做得非常出色,但您可以使用Google Search Console中的網址參數功能告訴Google您希望他們如何處理您的網頁。

索引:搜索引擎如何理解並記住您的網站?

一旦確保您的網站已被抓取,下一個目標就是確保將其編入索引。只是因為您的網站可以被搜索引擎發現和抓取並不一定意味著它將存儲在索引中。在上一節關於抓取的部分中,我們討論了搜索引擎如何發現您的網頁。在爬蟲找到頁面後,搜索引擎會像瀏覽器一樣呈現它。在這樣做的過程中,搜索引擎分析該頁面的內容。所有這些信息都存儲在其索引中。

我可以看到Googlebot抓取工具如何看到我的網頁嗎?

是的,您網頁的緩存版本將反映googlebot最後一次抓取它的快照。

Google以不同的頻率抓取和緩存網頁。更成熟,知名網站經常發表像 https://www.nytimes.com將比備受不太知名網站羅傑的Mozbot的身邊喧囂,更頻繁地抓取http://www.rogerlovescupcakes.com如果只是真的 …)

您可以通過單擊SERP中URL旁邊的下拉箭頭並選擇“頁面庫存”來查看頁面的緩存版本:

SEO初學者指南 – 第2章:抓取、索引、排名 3

您還可以查看網站的純文本版本,以確定是否正在有效地抓取和緩存重要內容。

頁面是否可以從索引中刪除?

是的,頁面可以從索引中刪除!可能會刪除URL的一些主要原因包括:

  • 該URL返回“未找到”錯誤(4XX)或服務器錯誤(5XX) – 這可能是偶然的(頁面被移動並且沒有設置301重定向)或故意(頁面被刪除和404以便把它從索引中刪除)
  • 該URL添加了noindex元標記 –網站所有者可以添加此標記,以指示搜索引擎從其索引中省略該頁面。
  • 該網址因違反搜索引擎的網站管理員指南而受到人工處罰,因此已從索引中刪除。
  • 在訪問者訪問該頁面之前,已添加密碼,因此已阻止URL進行爬網

排名:搜索引擎如何對網址進行排名?

搜索引擎如何確保當有人在搜索欄中輸入查詢時,他們會得到相關的結果?該過程稱為排名。

為了確定相關性,搜索引擎使用算法、公式,通過公式以有意義的方式檢索和排序存儲的信息。多年來,這些算法經歷了許多變化,以提高搜索結果的質量。例如,Google 每天都會進行算法調整- 其中一些更新是次要的質量調整,而另一些則是用於解決特定問題的核心、廣泛算法更新,例如企鵝解決鏈接垃圾郵件問題。可以查看MOZ的Google算法更改歷史記錄,查看可追溯到2000年的已確認和未經證實的Google更新列表。

為什麼算法經常變化?Google只是想讓我們保持警惕嗎?雖然Google並不總是透露具體細節,但他們確實知道Google在進行算法調整時的目標是提高整體搜索質量。這就是為什麼,為了回應算法更新問題,Google會回答:“我們一直在進行質量更新。”

搜索引擎想要什麼?

搜索引擎一直想要同樣的事情:以最有用的格式為搜索者的問題提供有用的答案。如果這是真的,那麼為什麼現在看來SEO與過去幾年不同?

從某些人學習新語言的角度考慮一下。

起初,他們對語言的理解非常簡陋 。”隨著時間的推移,他們的理解開始加深,他們學習語義 – 語言背後的意義以及單詞和短語之間的關係。最後,通過足夠的練習,學生能夠很好地理解語言,甚至能夠理解細微差別,並且能夠為甚至模糊或不完整的問題提供答案。

當搜索引擎剛剛開始學習我們的語言時,通過使用實際違反質量指南的技巧和策略來學習會容易得多。以關鍵字填充為例。如果你想為某個特定的關鍵詞排名,比如“有趣的笑話”,你可以在你的頁面上多次添加“有趣的笑話”這些詞,然後加粗,以期提高你對該詞的排名。

這種策略造成了糟糕的用戶體驗,而不是有趣的笑話,人們被惱人的、難以閱讀的文字轟炸。它可能在過去有效,但這絕不是搜索引擎想要的。

鏈結在SEO中發揮作用

當我們談論鏈結時,我們可能意味著兩件事。反向鏈結或連入鏈結是其他網站連入你的網站的鏈結,而內部鏈接是您自己網站上指向其他網頁(在同一網站上)的鏈結。

在發展SEO中,鏈結發揮了重要作用。很早以前,搜索引擎需要判斷確定哪些URL比其他URL更值得信賴,以幫助他們確定如何對搜索結果進行排名。計算所有指網站的鏈結可以讓搜索引擎判斷哪個網站比較值得信賴。

反向鏈接與現實生活中的口碑推薦非常相似。我們以一家假想的咖啡店星巴克為例:

  • 來自他人的推薦 = 良好的權威象徵
    示例:許多不同的人都告訴過你,星巴克是最好喝的
  • 來自你自己的推薦 = 有偏見,所以是很有說服力
    示例:小明聲稱小明的咖啡是鎮上最好的
  • 來自不相關或低質量的推薦 = 不是一個好的權威象徵,甚至可能會讓你被標記為垃圾資訊
    示例:小明支付給那些從去過他的咖啡店的人告訴別人它有多好。
  • 沒有推薦 = 不明確的權威
    示例:小明咖啡店可能會很好,但你一直找不到任何有意見的人,所以你無法確定。

這就是創建PageRank的原因。PageRank(Google核心算法的一部分)是一種以Google創始人之一Larry Page命名的鏈接分析算法。PageRank通過測量指向它的鏈接的質量和數量來估計網頁的重要性。假設網頁越相關,重要且值得信賴,它將獲得的鏈接越多。

您從高權威(可信)網站獲得的自然反向鏈結越多,您在搜索結果中排名越高的機率就越大。

內容在SEO中扮演的角色

內容不僅僅是文字,他是所有可以被搜索者看到的東西,例如影片、圖片、文字。如果搜索引擎是應答機器,則內容是引擎提供這些答案的手段。

每當有人進行搜索時,都會有數千種可能的結果,那麼搜索引擎如何確定搜索者將找到哪些有價值的頁面呢?這個頁面示所以匹配到的搜索關鍵字是否可以正確給予搜索者想要的資訊呢?

今天,有數百甚至數千個排名信號,前三名保持相當一致:鏈接到您的網站(作為第三方可信度信號),頁面內容(滿足搜索者意圖的高質量內容),以及RankBrain。

什麼是RankBrain?

RankBrain是Google核心算法的AI學習組件。AI是一種人工智慧,通過新的觀察和訓練數據不斷改進其預測。換句話說,它總是在學習,並且因為它總是在學習,所以搜索結果應該不斷改進。

例如,如果RankBrain注意到排名較低的URL向用戶提供比排名較高的URL更好的結果,那麼RankBrain將調整這些結果,將更相關的結果提高更多的排名。

與搜索引擎的大部分內容一樣,我們並不能確切知道RankBrain是什麼,但很顯然Google工程師自己也不知道

這對SEO有何意義?

由於Google將會一直使用RankBrain來排列出最相關、最有用的內容給用戶,因此我們需要比以前更專注搜索地的搜索意圖。儘可能地提供最佳的訊息更體驗給搜索者。

參與度衡量:相關性、因果關係或兩個都有?

通過Google排名,參與度指標很可能是部分相關和部分因果關係。

當我們說參與度指標時,我們指的是代表搜索者如何通過搜索結果與您的網站進行互動的數據。這包括以下內容:

  • 點擊次數(來自搜索的訪問)
  • 頁面上的時間(訪問者在離開之前在頁面上花費的時間)
  • 跳出率
  • Pogo-sticking(點擊搜索結果,然後快速返回SERP選擇另一個結果)

許多測試,包括Moz排名因素調查,都表明參與度指標與更高的排名相關,但因果關係一直備受爭議。良好的互動指標是否僅僅表明排名很高的網站?或者網站排名高,因為他們擁有良好的互動指標?

Google所說的話

雖然他們從未使用過“直接排名信號”這一術語,但Google已明確表示他們絕對會使用點擊數據來修改特定查詢的SERP。

根據Google前搜索質量主管 Udi Manber的說法

前Google工程師Edmond Lau的評論證實了這一點:

有哪些測試證實了

各種測試證實,Google將根據搜索者的參與度調整SERP:

  • 蘭德·菲甚金(Rand Fishkin)2014年的測試結果顯示,在讓大約200人點擊SERP的URL之後,#7的結果一直升至第一位。有趣的是,排名改善似乎與訪問鏈接的人的位置隔離開來。排名位置飆昇在美國,許多參與者所在的位置,而在Google加拿大,Google澳大利亞等頁面上的排名仍然較低。
  • Larry Kim對 RankBrain之前和之後的首頁及其平均停留時間的比較似乎表明,Google算法的AI降低了大家不會花太多時間的網頁的網頁排名。
  • Darren Shaw的測試也顯示了用戶行為對本地搜索和地圖包結果的影響。

由於用戶參與指標明確用於調整SERP的質量,因此可以肯定地說,SEO應優化參與度。參與不會改變網頁的客觀質量,而是改變您對搜索者相對於該查詢的其他結果的價值。這就是為什麼在沒有對您的網頁或其反​​向鏈接進行更改後,如果搜索者的行為表明他們更喜歡其他網頁,則排名會下降。

在對網頁進行排名方面,參與度指標就像一個檢查者。諸如外鏈和內容之類的客觀因素首先對頁面進行排名,然後參與度指標可幫助Google調整。

搜索結果的演變

當搜索引擎缺乏今天的複雜性時,”10個藍色鏈結”被用來描述SERP的扁平結構。每次執行搜索時,Google都會返回一個包含10個自然結果的頁面,每個結果都採用相同的格式。

在這個搜索領域,持有#1排名是SEO冠軍獎盃但後來發生了一件事。Google開始在搜索結果頁面上添加新格式的結果,稱為SERP功能其中一些SERP功能包括:

  • 付費廣告
  • 精選片段
  • 相關問題
  • 本地(地圖)包
  • 知識小組
  • 附加鏈接

Google一直在增加新的。它甚至試驗了“零結果SERP”,這種現像只有一個知識圖表的結果顯示在SERP上,除了“查看更多結果”的選項之外沒有任何結果。

由於兩個主要原因,這些特徵的增加引起了一些初步的恐慌。首先,這些特徵中的許多特徵導致有機結果在SERP上被進一步往後排序。另一個副作用是搜索用戶點擊搜索結果的次數較少,因為SERP本身會回答更多查詢。

那Google為什麼會這樣做呢?這一切都可以追溯到搜索體驗。用戶行為表示不同內容格式可以更好地滿足某些查詢。請注意不同類型的SERP功能如何匹配不同類型的查詢意圖。

查詢意圖可能的SERP功能被觸發
信息化精選片段
信息與一個答案知識圖/即時答案
本地地圖包
交易購物

我們將在第3章中更多地討論意圖,但是現在,重要的是要知道答案可以以多種格式提供給搜索者,以及如何構建內容可能會影響它在搜索中出現的格式。

本地化搜索

像Google這樣的搜索引擎擁有自己的本地商業列表專有索引,可以從中創建本地搜索結果。

如果您正在執行的具有地理位置的客戶可以訪問企業的本地搜索引擎優化工作(例如:牙醫)或為前往參觀他們的客戶業務,請務必要求,驗證和優化一免費的Google我的商家信息

在本地化搜索結果方面,Google使用三個主要因素來確定排名:

  1. 相關性
  2. 距離
  3. 突出因素

關聯

相關性是當地企業與搜索者所尋求的匹配程度。為確保業務部門能夠盡一切可能與搜索者相關,請確保完整準確地填寫業務信息。

距離

Google會使用您的地理位置來更好地為您提供本地搜索結果。本地搜索結果對鄰近度極其敏感,其指的是搜索者的位置和/或查詢中指定的位置(如果搜索者包括一個)。

有機搜索結果對搜索者的位置很敏感,但很少像本地包裝結果那樣明顯。

突出物

作為一個突出因素,Google正在尋求現實世界中眾所周知的企業。除了現實因素之外,Google還會考慮一些線上因素來確定本地排名。

評測

本地商家收到的Google評論數量以及這些評論的情緒會對他們在本地搜索結果中排名的能力產生顯著影響。

引文

“商業引用”或“商業列表”是對本地化平台(Yelp,Acxiom,YP,Infogroup,Localeze等)上的本地商家“NAP”(姓名,地址,電話號碼)的基於Web的引用。 。

本地排名受當地商業引用的數量和一致性的影響。Google從不同來源獲取數據,不斷構成其本地商業指數。當Google發現對商家名稱,位置和電話號碼的多個一致引用時,它會加強Google對該數據的“信任”。這導致Google能夠以更高的信心展示業務。Google還使用來自網絡上其他來源的信息,例如鏈結和文章。

自然排名

SEO最佳實踐也適用於本地搜索引擎優化,因為Google在確定本地排名時也會考慮網站在自然搜索結果中的位置。

在下一章中,您將學習有助於Google和用戶更好地理解您的內容的頁面最佳做法。

本地參與

雖然Google沒有將其列為本地排名限制因素,但參與的作用只會隨著時間的推移而增加。Google通過整合真實世界數據(如熱門時間訪問和平均訪問時間)繼續豐富本地搜索結果。

SEO初學者指南 – 第2章:抓取、索引、排名 4

……甚至為搜索者提供了解答業務問題的能力!

毫無疑問,現在比以往任何時候都更多地受到現實世界數據的影響。這種互動性是搜索者與本地企業互動和響應的方式,而不是純粹的靜態信息,如鏈結和引用。

由於Google希望向搜索者提供最佳,最相關的本地商家,因此他們使用實時互動指標來確定質量和相關性是完全合理的。


您不必了解Google算法的細節(這仍然是一個謎!),但到目前為止,您應該對搜索引擎如何查找,解釋,存儲和排名內容有一個很好的基線知識。有了這些知識,讓我們學習如何選擇您的內容所針對的關鍵詞!