网站地图是我们的网站站长所称的网站地图,其中包含并列出了网站中几乎所有的URL,以便搜索引擎可以更轻松,更快速地抓取并找到指向网站的链接,从而提高搜索引擎的抓取效率。 实际上,我们有两种最常见的站点地图文件格式:sitemap.xml,sitemap.html, 以及sitemap.txt,sitemap.gz和其他格式。
sitemap.xml
sitemap.xml是一个重要的用于搜索需要提交的数据文件。 XML格式网站地图是信息量最大。 该文件列出了站点中的URL以及有关每个URL(最近更新)的时间,更改频率,以及相对于网站上各类URL的重要性排序(这个非常重要)。
我们可以 很简单了解到sitemap.xml是搜索引擎蜘蛛或者爬虫看的的文件,其中包含URL,时间,重要性和其他参数。
sitemap.html
sitemap.html 格式的网站地图主要用来方便用户的浏览使用,简单的来说提升用户体验和方便用户快速了解网站,并不能起到 XML Sitemap 所起的作用。所以这个文件一般的大型网站会做成一个网站导航,而小型的网站,例如qi70博客就是把博客文章简单的顺序列出了而已。sitemap也有自动的,具体的使用方法可以咨询我。仅限wordpress,后面也许我也会写篇相关技术文章。
总结
sitemap.xml 文件基本是每个网站的必须,并且可以将网站地图的链接放置与网站的 robots.txt 文件末尾(例:Sitemap: https://zhangzifan.com/sitemap.xml),方便搜索引擎发现。
所以利用好 sitemap.xml 文件及配置 robort.txt 协议可以指导搜索引擎抓取方向,节省“蜘蛛”抓取时间,所以无 形中提升了“蜘蛛”的工作效率,也就提高了页面被抓取的可能性了。