robots.txt文件怎么写才正确呢？

　 短视频，自媒体，达人种草一站处事

曾庆平SEO在前面的文章中讲过robots.txt观念的时辰，留下一个题目：为什么曾庆平SEO的robots.txt写得那么伟大?

曾庆平SEO的robots.txt：***seo.com/robots.txt 这样做的目标是，让搜刮引擎看来网站更类型和势力巨子。

1、用robots.txt屏障相似的页面或没内容的页面。

我们知道，搜刮引擎收录网页后，会对网页举办“考核”，当网页的相似度很高时2个页面，搜刮引擎会删除个中一个。

若是以下这两个链接，内容着实差不多，以是第一个链策应该屏障。 ?tid=5167&goto=lastpost#lastpost

第一个的链接很是多，屏障时，只要屏障/bbs/redirect.php? 就屏障了全部的。代码如：Disallow: /bbs/redirect.php?

相同这样的页面，没有内容，也应该屏障：?sid=247304&lang=zh&action=writecomment&id=77&artlang=zh 这样的链接大概多，屏障时，只要屏障/index.php?sid= 就屏障了全部的。

代码如：Disallow: /index.php?sid=

2、用robots.txt屏障多余的链接，当动态和静态共存时，一样平常去掉动态的。

网站中常常会存在多个链接指向统一个页面，这种环境广泛存在时，会让搜刮引擎对网站的势力巨子性发生猜疑。通过robots.txt把非首要的链接去掉。

若是以下两个链接指向同样的页面，去掉次要的第一个。

?username=曾庆平seo

代码如：Disallow: /space.php?username=

出格必要留意的是，首页一样平常有这么几个链接： www.yongfengseo.com/index.html 等，这个时辰，不要屏障 index.html。由于如index.html index.php 等是默认首页，屏障也许导致蜘蛛爬取错杂。

咱们必要做的是，在给首页做站表里链接时，同一用不带index.html 的 即可。这是URL尺度化的观念。

3、用robots.txt屏障死链接。

死链接就是原本存在，其后由于改版或更新等缘故删除了的链接和网页。好比，原本在某个目次(假设目次为/tempweb/)下的全部链接，由于改版此刻都变为死链接了，可以用robots.txt屏障。

代码如：Disallow: /tempweb/

4、用robots.txt屏障也许存在的“被K”外部链接。

许多网站应承用户放本身的网站链接，但由于过多的“被K”外部链接也许牵连本身。以是，许多把全部外部链接放入一个链接目次下，然后通过robots.txt同一屏障。

假如你对Disallow:的详细操纵步伐不是很清晰，你可以从这里相识我之前宣布的robots文章。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!