百度站长平台提供了一个很好的robots.txt自动生成工具，利用它我们可以很方便的写出robots.txt，通过robots.txt阻止搜索引擎收录你不想要被收录的页面及目录，还可以阻止及引导蜘蛛爬行更多的页面，减少蜘蛛的爬行量，提高蜘蛛的爬行效率，有效的提升更多的页面被收录。
前面我们介绍了通过IIS日志分析让你更好的了解网站运行情况，可以通过IIS日志查询到蜘蛛爬行中返回404状态的页面，这里我们可以用robots.txt禁止蜘蛛爬行。
百度站长平台注册及网站验证方法这里就不说了，下面讲讲Robots工具的使用方法：
搜索引擎的快速发展也就是近15年发生的，这与互联网的发展趋势密切相关。最近几年，互联网在经过了web2.0的市场培育阶段后，迎来了以互联网用户的个性化和社交化为中心的趋势。同时，移动设备的逐渐流量及两大趋势的融合，催生了很多新型应用，为了迎接和顺应这种趋势，对搜索引擎来说，也产生了新的挑战。本文将阐述未来搜索引擎的发展趋势。纯属个人观点。
搜索引擎未来发展的8种趋势
（纯属恶搞：用户搜索未来发展趋势）
1，社会化搜索
随着Facebook的流行，社交网络平台和应用占据了互联网的主流，社交网络平台强调用户之间的联系和交互，这对传统的搜索技术提出了新的挑战。
搜索流量（search traffic）会突然降低，是网站经营者最不愿意看到的结果，但是如果真的碰到了，你必须先问自己6个问题。
这篇“Sudden Search Traffic Drop？ 6 Questions to Help Diagnose the Cause”说到了，可能引起搜索流量突然降低的六个可能性，你必须先知道这些问题的答案，才可能抽丝剥茧的找出答案。
（1）Question 1： Has the Analytics Tracking Been Removed/Altered？
谈到网站的用户体验，做SEO的人无人不晓，但用户体验确实是一个泛泛而谈的概念，我们都会说用户体验非常重要，不过从哪些方面去做好用户体验呢?这 是一个很难解释清楚的问题，我的理解就是用户体验要从网站内容和网站功能两个方面去着实，企业站的用户体验方面该如何去做?从以往笔者接触过的企业站来 看，产品描述方面是一个重点问题，几乎每个企业站上面都会有类似“公司新闻”或者“行业新闻”的模块，殊不知客户一般不会去看这些新闻，因为客户来到某个 企业站，其实最想了解的是产品和服务。下面是笔者整理的几个常见的企业站产品描述问题：
很多朋友谈到网站内容都会谈原创，因为这是做好网站内部优化的根本，百度在站长指南中也反复强调做好网站内容的原创性，而一些比较随性的朋友可能会告诉大家不要太在意原创，重要是你网站内容是否符合用户需求，也就是是否为用户提供价值，所以做好高质量的伪原创内容也能够带来相同的反馈。很多时候我们谈这些的时候只是站在怎么去建设内容上，却忽略了另外一点，我们网站的内容是面向用户的，要想达到满意的转化，我们就需要在内容上做好营销，这里就要求内容上的优化上升一个高度，建设内容的时候加入营销的思维和理念进去。
刚刚到百度站长平台去看了一下，百度再次发出打击外链的公告，再回到各大论坛去看看，放眼过去，哀声怨道的贴子满天飞。众人皆呼：外链为皇的时代真的过去了吗？的确，自从百度发出关于超链作弊的算法升级后，促使大部分多年以外链为主的SEOer乱了阵角，他们失去了方向，不知道外链是做还是不做为好，因为他们不确定发外链是否意味着K站的开始。
在这里，笔者很明确的提出：外链永远不会成为过去式，只要搜索引擎还在，外链为皇的时代就不会终结。这个结论对百度搜索尤为适用，为什么？大家应该知道百度创始人李彦宏早先是以什么而闻名的吧！对，没错，超链分析（ESP）技术（超链分析（ESP）技术的本质是一种“投票”机制，一个链接可以看作一个网页对另一个网页的投票，票数决定排序。除了基本的投票机制，该技术还具有两方面特征：将链接文字作为重要信息加以利用，使搜索引擎更准确地理解目标网页的内容，从而有效地提高了搜索结果的相关性；根据投票者自身的权威性、推荐方式等属性调整投票权重，从而有效地提高了搜索结果的权威性。）一个拥有超链分析（ESP）技术专利的人，不可能也不会傻到丢弃这个如此伟大的发明。
2012年，在这个“末日”的年头，seo经历了太多太多的打击，从百度的6.25算法调整到10.23算法调整，seo几乎是被调整得昏天暗地。不少seoer对度娘是那个恨啊，恨不得百度马上就要倒闭。可是现实不是如此，生活还得继续，seo还得要做下去，为何不用乐观一点的心态去看待呢？
相比于那些对百度恨之入骨的seoer，笔者更倾向于对百度的感激情绪，你要问我是不是疯了？NO，it is impossible。我一直都是清醒的，我要感恩百度是因为百度让seo变得更纯洁、更明确了，其实seoer更应该去感谢百度的打击，而不是抱怨。
目前在各大电商、博客等网站中充斥着各种推荐版块，以便帮助用户更好的找到所需的商品、应用和服务等。各大电商网站的数据已经证明推荐系统的广泛成功。其中亚马逊的推荐系统最为引人注目，其网站推荐的销售转化率可以高达60%，其所推荐的商品绝非无的放矢。网站如何合理运用推荐系统？这个需要先了解推荐系统的原理。
从现在的情况来看，目前较为领先的推荐系统都是通过协同过滤技术来实现的。协同过滤技术主要可分为：基于用户的协同过滤、基于项目的协同过滤、基于模型的协同过滤。一个基于用户的协同过滤过滤算法通常的做法是对一大群人进行搜索，并从中找出与我们品位相近的一小群人。完成这些功能对网站产品设计人员来说，需要做以下的几件事情：
很多的站长对百度快照很紧张，认为快照越新越好。突然有那么一天，快照不更新了甚至快照回档了，这可不得了，有很多的“百度专家”就说，网页快照回档是降权的前兆，曾经有那么一段时间我相信了。但是，10月23日那次百度对链接作弊算法升级之后，李彦宏在百度站长平台发布的公告却与之相反，让我顿时感觉“砖家”永远都是发表谬论，不管你信不信，反正我是信了！
至于百度快照时间为什么会倒退，也就是百度快照回档，Lee并没有给出明确的解释。他只是说一个重要的网页，搜索引擎在数据库中会保存多个快照，在一些极特殊情况下，搜索引擎系统可能会选择不同于当前搜索结果中的快照版本，导致出现快照时间倒退的情况。这对网站在搜索引擎中的表现无任何影响，也并不代表搜索引擎对该网站做了降权处理，只是与网页是否出现重要更新有关系。
网站标题如何修改不会影响网站排名呢？近日笔者查找了一些相关的技术文章跟大家分享一下：
网站标题修改不影响网站排名策略一：调整好关键词密度
我们之所以要加大网站的关键词密度，其实是在告诉搜索引擎虽然我们修改了标题，但是核心关键词并没有变。当然这得跟你的意图也有关系，笔者是想打造一个品牌站，所以标题中故意不出现关键词的。而如果你只是对网站的关键词做很小的修改，那么在你网站的关键词布局中可以加大关键词的密度，对关键词的排名也有很大的帮助。
