外贸网站的robots怎么写

Robots虽然是网站的一个很基础的东西,但依然有很多朋友不知道这是做啥用或怎么写,今天就来讲讲什么是robots,以及外贸网站的robots写法

1. Robots到底是什么

robots是在网络爬虫(像GG蜘蛛)之间通行的一个协议,robots设置哪些蜘蛛可以爬取哪些页面,不可以爬取哪些页面,它没有法律效力,完全靠自觉。它放在robots.txt这个文档中。

2. 网站robots怎么写

禁止爬取和收录

在建立起WP网站第一步,就要写好,因为你的网站还没完成,不适合收录

User-agent: *
Disallow: /

放开收录和爬取

一般来讲,网站的robots写法没有标准的答案,因为它是一个开放的内容,目的就是为了告诉可以做什么,不可以做什么,所以这个完全由你来决定。

专业的SEO插件YOAST SEO最近的文章显示,基本不用限制,相当于裸奔。

不过我个人会加一些限制,有些页面,像作者页面,询盘表单页面,这些都是有必要去禁止收录的,实践证明禁止收录询盘表单页面之后,垃圾询盘少了很多。我的参考写法如下:

User-agent: *
Disallow: /inquiry.html
Disallow: /inquiry/
Disallow: /author/*
Disallow: /thank-you/
Disallow: /blog/author/*

3. robots文件放哪里

robots.txt这个文件写好内容后,直接上传到网站根目录即可,即跟wp-admin,wp-content,wp-includes同一路径可。

比例简单快捷的方法就是使用yoast seo插件的编辑功能,可以在线编辑robots,非常方便,具体使用方法可以参考yoast seo插件使用

4. Robots禁止收录了,那别人就看不到我的网站么?

错,robots是网络协议,对网络爬虫起作用,对人不起作用。

要想别人看不到你的网站--安装under construction插件,启用即可屏蔽你的网站

要想网站不收录 -- 写好robots,并将robots.txt放到你的网站根目录下面即可

One thought on “外贸网站的robots怎么写”

发表评论

电子邮件地址不会被公开。 必填项已用*标注