聚星平台总代理

黑帽seo赚钱流程:网站robots.txt文件

唐僧 217 0

黑帽seo赚钱流程学习SEO我们必须学会看懂网站robots.txt文件,同时,要会写相关的robots.txt文件,那到底什么是robots.txt文件呢,下面黑帽SEO唐僧为大家介绍一下。

聚星平台总代理网站的robots.txt文件是搜索引擎蜘蛛最先查看的文件,它告诉蜘蛛程序你的网站什么是可以抓取的,什么是不可以抓取的。robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。

聚星平台总代理常见的robots.txt文件的格式有:

User-agent: 定义搜索引擎的类型   

Disallow: 定义禁止搜索引擎收录的地址   

Allow: 定义允许搜索引擎收录的地址

黑帽seo赚钱流程:网站robots.txt文件-第1张图片-唐僧SEO

聚星平台总代理robots.txt文件的写法

User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符  

Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录   

聚星平台总代理Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录   

黑帽seo赚钱流程:网站robots.txt文件-第2张图片-唐僧SEO

聚星平台总代理Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

聚星平台总代理Disallow: /*?* 禁止访问网站中所有的动态页面   

聚星平台总代理Disallow: /jpg$ 禁止抓取网页所有的.jpg格式的图片   

Disallow:/ab/adc.html 禁止爬去ab文件夹下面的adc.html文件。   

Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录   

黑帽seo赚钱流程:网站robots.txt文件-第3张图片-唐僧SEO

聚星平台总代理Allow: /tmp 这里定义是允许爬寻tmp的整个目录   

Allow: .htm$ 仅允许访问以".htm"为后缀的URL。   

Allow: .gif$ 允许抓取网页和gif格式图片

黑帽seo赚钱流程它的具体用法以后唐僧再给大家具体介绍,今天大家先明白这些就够了!

标签: 黑帽seo赚钱流程 网站 robots.txt文件聚星平台总代理

发表评论 (已有0条评论)

还木有评论哦,快来抢沙发吧~