第六课 网站地图和robots.txt
网站地图（Sitemap）和robots.txt其实就是一个网站的两个网页，前者是介绍整个网站架构，你的网站分了多少个栏目，每个栏目下又有什么页面之类的，它是引导搜素引擎蜘蛛抓取页面的，后者则是一个txt文件，它的作用就是告诉搜索引擎收录我的什么页面和不收录什么页面。
由于这两个页面对于网站的浏览几乎无任何影响，一般的网站设计者不会给你网站建设网站地图和robots.txt的，不过有些开源代码多数都会有这些的。
如果你的网站没有网站地图或者robots.txt，那我就建议你最好要添加上。
设置一个良好网站地图能够让搜索引擎在你的网站里“顺藤摸瓜”，更好的索引你网站中的数据，包括一些深层的页面。对于用户也是非常友好的，它可以让用户非常方便寻找他想要的信息。
设置一个有用的robots.txt，可以有效的控制搜索引擎的蜘蛛该去那里抓取页面，不该去哪里抓取页面，像一些后台程序、一些动态页面或一些图片文件等等不需要给用户浏览的页面就可以设置不让蜘蛛抓取，以此让其更快速更有效地抓取有效信息。
网站地图和robots.txt是网站与搜索引擎对话的一个非常好的方式，它们对搜素引擎非常友好，当然它对排名也会有一定的帮助。
网站地图（Sitemap）一般有三种格式：
第一种就是Google sitemap也就是google网站地图，xml格式，制作它的原因就是为了google蜘蛛更容易，更快的索引到你的网页。xml格式的网站地图对于普通网民来讲就没有很明显的可读性，它主要是方便给搜索引擎读取。
第二种就是txt格式，这就更简单了，把你的url链接列到里面就可以了。
第三种是html格式，这种就比较明晰，把网站的各个栏目各个分类全部列到这个页面，不仅对人还是对引擎都有很好的可读性。一般来说首页要有个链接指向网站地图这个页面。
看看下面例子：
http://www.tom.com/sitemap/index.html
通常xml格式是给谷歌看的，txt格式是给雅虎看的，html主要就是给人看的，百度则不需要网站地图，那我们最好还是搞个html的放在那里让它去抓取吧。
关于如何做网站地图也是非常简单的，网上也是有很多工具的，这个大家了解下就好了。
其实做好了网站地图后还要去提交给搜索引擎的，当然提交肯定不错，只是对于新手来说比较麻烦，还要给搜索引擎验证网站那些，但如果你有足够的外链的话，其实不提交也是可以的，搜素引擎也会顺着你的外链来抓取的，此时记得前提要有外链才行，我想你如果做了seo，肯定会去做外链的，因此对于我们seoer们来讲，提不提交都无关紧要了。
robots.txt
robots.txt记得一定要小写，一定要在根目录下面，也就是和首页一个目录下。
原理：当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。
robots.txt文件的内容主要就是一个代码：Disallow:
注意，robots.txt文件中一般要包含至少一个Disallow:
如果都允许收录，你可以写一行Disallow:/search.html 这个文件(search.html)本来就不存在也没事。
格式如：
User-agent: *
Disallow: /search.html
Disallow: /index.php?
Disallow: /tempweb/
说明：
User-agent: * 星号说明，允许所有的搜索引擎来收录，包括百度、google、yahoo等。
Disallow: /search.html 说明不允许收录 /search.html 这个文件。
Disallow: /index.php? 说明不允许收录以index.php?为前缀的链接如：index.php?122.html、index.php?=12、index.php?/baidu等等
Disallow: /tempweb/ 说明不允许收录/tempweb/里的所有文件。但可以收录如：/tempwebtaim.html 的链接。
这里介绍的是常用的几个代码。保密资料，请勿转载。
如果需要了解更多关于Disallow:的用法，请了解百度官方的介绍：http://www.baidu.com/search/robots.html
Disallow: /tempweb/ 说明不允许收录/tempweb/里的所有文件。但可以收录如：/tempwebtaim.html 的链接。
这里介绍的是常用的几个代码。保密资料，请勿转载。
如果需要了解更多关于Disallow:的用法，请了解百度官方的介绍：http://www.baidu.com/search/robots.html
