网站robots写法与规则

robots.txt文本文件的写法与规则

Robots是放置在网站根目录下robots.txt文本文件,
在文件中可以设定搜索引擎蜘蛛爬行规则。设置搜索引擎蜘蛛抓取内容规则。创建robot步骤如下:

首先要创建一个robots.txt文本文件,放置网站的根目录下,下面就开始编辑设置Robots协议文件:
一、允许所有搜索引擎蜘蛛抓取所以目录文件,如果文件无内容,也表示允许所有的蜘蛛访问,设置代码如下:
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
二、禁止某个搜索引擎蜘蛛抓取目录文件,设置代码如下:
User-agent: Msnbot
Disallow: /
例如想禁止MSN的蜘蛛抓取就设为,Msnbot代表MSN的蜘蛛,如果想禁止其他搜索引擎就更换蜘蛛名字即可,其他蜘蛛名字如下:
百度的蜘蛛:baiduspider
Google的蜘蛛: Googlebot
腾讯Soso:Sosospider
Yahoo的蜘蛛:Yahoo Slurp
Msn的蜘蛛:Msnbot
Altavista的蜘蛛:Scooter
Lycos的蜘蛛: Lycos_Spider_(T-Rex)
三、禁止某个目录被搜索引擎蜘蛛抓取,设置代码如下:
User-agent: *
Disallow: /目录名字1/
Disallow: /目录名字2/
Disallow: /目录名字3/
把目录名字改为你想要禁止的目录即可禁止搜索引擎蜘蛛抓取,目录名字未写表示可以被搜索引擎抓取。
四、禁止某个目录被某个搜索引擎蜘蛛抓取,设置代码如下:
User-agent: 搜索引擎蜘蛛名字    说明(上面有说明蜘蛛的名字)
Disallow: /目录名字/             说明(这里设定禁止蜘蛛抓取的目录名称)
例如,想禁目Msn蜘蛛抓取admin文件夹,可以设代码如下:
User-agent: Msnbot
Disallow: /admin/
五、设定某种类型文件禁止被某个搜索引擎蜘蛛抓取,设置代码如下:
User-agent: *
Disallow: /*.htm   说明(其中“.htm”,表示禁止搜索引擎蜘蛛抓取所有“htm”为后缀的文件)
六、充许所有搜索引擎蜘蛛访问以某个扩展名为后缀的网页地址被抓取,设置代码如下:
User-agent: *
Allow: .htm$  说明(其中“.htm”,表示充许搜索引擎蜘蛛抓取所有“htm”为后缀的文件)
七、只充许某个搜索引擎蜘蛛抓取目录文件,设置代码如下:
User-agent: 搜索引擎蜘蛛名字    说明(上面有说明蜘蛛的名字)
Disallow:

查看网站搜索引擎蜘蛛爬行记录

关于搜索引擎蜘蛛爬行记录的问题,对于一些刚接触做站的朋友来说可能真的不了解.于是分享这篇文章,希望能帮助大家:
1.打开FTP登陆软件(这里以FlashFxp为例),登陆你的空间FTP

登陆进FTP后,你会发现在根目录下有一个WebLog/access-logs的文件夹
(注:不同的IDC空间生成的日志文件目录名称不一样,仅供参考.一般文件夹中包含Log字符的都是日志文件夹)
2.打开WebLog目录后,里面有一些以日期格式特征为文件名的.gz后缀结尾的文件.这些就是我们需要下载到本地的日志文件.

3.打开压缩文件,发现里面只有一个以.log结尾的日志文件,我们需要的就是这个文件了.

4.解压后,打开日志文件.
Ctrl+F查找 baidu.com/search 特征字符(这里以百度蜘蛛为例)

如上所示,baidu.com/search就是搜索引擎蜘蛛的来访纪录了.
通过分析蜘蛛来访纪录,可以了解本站的大体情况,而不用再为百度不放出内页或者不收录的问题而苦恼了.
蜘蛛来访正常,可以确切的说,搜索引擎对你的站很友好的,坚持更新自己的网站,会有不错的收录的.
注意:有些共享IP空间可能不支持日志功能.对于独立ip虚拟主机则提供每天的日志下载.而实在没有可以日志功能的空间可以参考使用蜘蛛爬行插件的一些方法进行分析.

转:浏览网页时看到的 ,感觉很有用

在阅读这篇文章的时候,您需要理解一个词语的含义:关键因素。网站推广方法其实有很多种,但作为个人站长来讲,你不可能一一做到,网站推广方法又几百种,学习了很多种,但真正做到的只有那么一两种。而此时我们就需要通过寻找关键因素来确实这个网站的发展壮大的重点。点此查看所理解的什么是关键因素?

1:利用QQ群做网站推广。

2:诚恳的申请友情链接。

友情链接的是网站推广中必不可少的一项,博客的留言本几乎每天都会收到友情链接的请求。寻找友情链接的方法也有很多种,在搜索引擎中就能找到很多。但只用了一种方法,那就是厚着脸皮直接找到相关网站直接留言、或者发E-mail申请链接。这样寻找的链接质量都比较高,大多数做好链接的网站都没有作弊现象,只是有点繁琐,并且很容易遭到别人的拒绝。

这是当时就写了一段自认为还算诚恳的话:

我们能做个友情连接吗?希望我们共同学习 一起发展已经给你做好连接了,在首页的右下角。

3:软文推广,把文章发布到相关网站。

写了几篇文章,发布到站长网、站长站、红动论坛等一些和网站、设计相关的网站和论坛。需要你注意的是,博客针对的用户群是站长和网站模板设计师的博客,所以会发布到这些网站,但希望你针对你的用户群发布到相关网站,别跑题了。

4:把网站提交到导航站、目录站。

大家都在说把网站提交到权重高的网址站,也按照这样的方法做了,但效果很不明显,而且很难被收录,于是换了个思路,把的博客大量的提交到一些小的网址站,导航站。这样原因是很快就会被收录,并且还能直接联系到该站的站长。提交这些小网站并不能给你带来什么流量,但这却能让你结识很多站长。等的博客权重提高之后再提交到一些大的导航站,就很容易被收录了。

5:一针见血的评论。

坚信,评论可以一针见血。原本是在看网易新闻的时候照搬的一句话,然后放到了博客评论框中,没想到效果却出人意料的好。渐渐的对留言和访问其他博客的评论都非常重视,很多时候,一句话就说到了人的心底,也让别人对的印象非常深刻。对其他博客的多多互访评论也造就了博客的每篇文章三位数的评论量,为什么那么多人问的博客有那么多评论,想原因就在于此吧。

6:把自己的作品发布到网上免费分享。

在没有把博客当成独立网站运营之前,就已经做了近百个网站、工具和模板设计作品了。所以利用以前做过的网站作品,免费发布到各大网站论坛上,免费的条件就是加入了博客的链接。通过这些作品的链接的博客也获得了不少的流量。