Meta Robots

Meta Robots是Meta Tags中的一種。主要是為搜尋引擎的爬蟲,告訴他們「要如何」對網頁進行爬蟲或索引。這個與「robots.txt」文件有相似的作用,但Meta Robots可以告訴爬蟲更清楚的網頁索引需求。

Read More