如何让我们的网站结构足够合理呢？接下来我会按照我们从建站到运营的这个顺序逐个展开。

Robots

这是网站和搜索引擎的一个协议，robots会直接告诉搜索引擎，我是不是欢迎你过来，也是我们给搜索引擎的一把钥匙。

robots必须要优先放到网站根目录的。爬虫进入我们网站时，首先会寻找的就是这个文件，当这个文件存在时，会按照这个文件里指定的范围进行爬取，如果禁止所有蜘蛛爬取行为，它会直接走掉不在抓取。

所以我们利用这个robots特性，可以将我们不想公布出去的目录结构进行隐藏，比如后台管理等敏感目录。当然也可以利用这个特性进行导流，让搜索引擎不必把精力浪费在无用的目录或者页面上，只抓取我们想让让它抓取的页面。

sitemap，给蜘蛛一个地图

蜘蛛按照链接地址进行爬取页面的，但是每个网站的权重不一样，蜘蛛在这个网站抓取页面的深度和停留时间就不一样，这就会导致有些页面层级较深，没有被蜘蛛抓取到。我们需要一个办法，直接告诉蜘蛛我的页面在哪里，地址是什么？

这就是sitemap，我们将我们网页的地址放到这个文件，让搜索引擎蜘蛛更好的抓取我们的页面。

这个文件可以告诉搜索引擎，哪些页面重要，哪些次要，应该重点抓取哪些，哪些更新频率高等等，sitemap的格式目前有三个，txt格式、XML格式和sitemap索引格式。

txt格式适合小网站，链接不多，可以将连接地址一行一条放上去。

XML格式适合中小网站，里面主要放标题和链接地址。也是大家用的最多的格式。但是由于文件大小限制和考虑到蜘蛛爬取的顺畅度，如果文章太多，会导致文件过大。

这里我们就需要用sitemap索引的形式来进行文件切分，将一个大的sitemap分为多个小的，然后主sitemap里面放子sitemap文件的地址。

内链，让蜘蛛尽情的爬行

影响关键词排名除了内容很好以外，还有就是链接指向。

打个比方，我们知道长沙有臭豆腐，而做这个臭豆腐的有很多家，如何实现提到臭豆腐就想到一个品牌呢？当所有人都说一家臭豆腐好吃的时候，久而久之，想到臭豆腐就想到这家；链接也是同样的道理，当有很多词指向你，就可以排名更靠前。

链接指向有站内链接，我们称为内链，站外链接，为外链。

内链，就是我们站内的关键词指向。比如易观方舟官网，我们将所有的用户行为这个词，都指向了产品介绍里的用户行为分析这个页面。当爬虫来到我们网站时，当看到这么多链接都指向一个页面时，那么这个词就是这个页面的目标关键词，当用户在搜索引擎搜索这个词时，会优先展示这个页面。

内链是我们做SEO比较重要的注意方向，因为外链资源有很多的不确定性，质量也参差不齐，而内链是完全由我们自己主导的。

每个页面都有一个目标关键词，当A页面出现B页面的目标关键词时，应该将这个词指向到B页面上。一个页面最多放5个内链，因为我们要考虑用户体验，一个页面全都是链接，会让访客以为这个是广告站，因为我们为了凸显这个关键词会加粗或者变色，这样的关键词太多，让人很反感，所以要注意内链词的密度问题，经过实测5%是建议内链密度。

如何收集内链关键词呢？我们通过方舟渠道分析来挖掘近期的关键词分布，将这些词收集起来作为我们的页面关键词。方舟比百度统计的关键词收集更有价值，我们可以看到这个词是哪个搜索引擎过来的，跳出率怎样，留存情况如何等等，也可以针对这批用户进行下钻分析，了解这些用户接下来做了什么，为何流失。

我们的网页做内链时也应该注意，比如这个页面是讲用户行为分析的，那么我们将这个词链接到产品页，相关性就非常高，这就是一条高质量的内链，相关性不强的链接，效果会打折扣。

如果网站文章很多，我们可以研发一个内链关键词库，将我们的关键词和链接地址存入数据库；当页面上出现这个词时，自动替换链接地址到目标页面上，这样会大大节省我们编辑文章时的时间。