wordpress引蜘蛛 网站怎么引蜘蛛

wordpress如何设置最佳robots.txt

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。Robots协议是国际互联网界通行的道德规范,尊重信息提供者的意愿维护其隐身,正如08年淘宝网屏蔽蜘蛛,11年京东的一淘网屏蔽了爬虫,都是体现robots.txt的规范互联网的原则,遵从民主自由。话题有点偏了,回到wordpress如何设置最佳robots.txt。

创新互联专注于企业成都全网营销、网站重做改版、沽源网站定制设计、自适应品牌网站建设、H5开发成都做商城网站、集团公司官网建设、外贸营销网站建设、高端网站制作、响应式网页设计等建站业务,价格优惠性价比高,为沽源等各大城市提供网站开发制作服务。

Robots.txt是搜索引擎蜘蛛进站的第一个胃口,首要检查的文件,网站有很多内容例如js,style,插件,图片是无需爬虫去抓取的,对博客网站来说文章才是重中之重,把所有力气放在文章,一点击破,而不是浪费资源做无用功,而wordpress默认的robots.txt是:

User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/

这只是其中的一小部分,对不懂优化的人来说,屏蔽这些应该已经足够,但对SEO来说,就是追求完美,没有最好只有更好,那么要屏蔽那些,如何屏蔽呢

1.动态页面对搜索引擎不友好,搜索引擎的口味是静态页面,所以可以屏蔽动态页面,前提是网站要伪静态,

Disallow: /*?* 限制动态页面 /%post_id%.html 伪静态设置

2.管理员登录界面,既然是管理员就没必要给爬虫抓取,登录界面对用户也没用

Disallow: /wp-admin/ 限制管理员登陆页面

3.插件、模板、js文件这些是网站的后台程序代码,也可以屏蔽

Disallow: /wp-content/plugins/ 限制插件文件

Disallow: /wp-content/themes/ 限制模板文件

Disallow: /wp-includes/ 限制js文件

4.feed,不知道站长们对这个熟悉吗,这个是网站的订阅文件,原本漳州网站建设也不知道,只知道有RSS订阅,在网站域名后加个feed你就清楚了,这个也可以屏蔽。

Disallow: /feed

5.网站的评论,评论被抓取会导致文章的重复,不利于观察分析,用户体验,但这个视具体情况,个人爱好不一。

Disallow: /comments 限制评论

Disallow: /*?replytocom* 限制每一个评论页面

设置完Robots.txt后,为保险起见,最好用百度站长工具检查一下,漳州网站建设就被robots.txt解禁困扰过,花了很长时间才把它搞定。插个小曲,robots.txt不仅可以禁止爬虫爬取网站结构,也可以禁止 404页面,搜索蜘蛛非常喜欢网站地图,sitemap可以为搜索引擎蜘蛛指路,增加网站重要内容页面的收录,也有利于用户体验,所以最后一点就是加入网站地图。

如何通过sitemap网站地图来吸引蜘蛛爬行

通过sitemap网站地图吸引蜘蛛爬行的方式主要有以下几点:

1、什么是 sitemap

简单理解:sitemap 就是网站地图,它通过可视化的形式,展示网站的主要结构比如:列表页、分类页、tag 页,以及内容页面。

网站地图的主要形式包括:sitemap.html、sitemap.xml、sitemap.txt,通常情况下这三种形式的

sitemap网站地图,主要被存放在:

① 网站前端页面

通常众多站长喜好将 sitemap.html

类型的网站地图,存放在前端页面,经常被放在网站导航中,用于向访客清晰的展示网站的结构框架,突出众多栏目。

在页面相对较多的网站,理论上它会出现多个 sitemap.html 用于展现不同专题的内容结构。

② 网站 Robots.txt 中

理论上 sitemap.xml 与 sitemap.txt 经常被存放在 Robots.txt

文件中,用于百度蜘蛛快速抓取,当然也可以做百度网址提交,加快页面收录。

具体有关 sitemap 配置的方法,你可以参考百度官方《平台工具使用帮助》中,链接提交的说明。

2、网站地图制作方法:

网站地图制作的方法有很多,通常来讲主要包括如下几个方面:

① 程序插件

一般情况下,知名的 cms 系统,都会配有 sitemap 网站地图生成插件,你需要在相应的应用市场去查询相关插件,并开启他们,比如:wordpress

插件、zblog 插件和 dedecms 织梦插件等,当然你也可以聘用技术人员,独立开发一个插件,性价比还是蛮高的。

② sitemap 生成器

目前市面上有很多在线生成 sitemap 的网站,以及客户端,比如:爱站网的 SEO 工具包,对于一些技术能力不强的小伙伴,还是很有帮助。

③ 手动生成

如果你在操作一个独立博客,每日更新的内容并不是特别多,比如在 10 篇以下,那么你完全可以手动添加 sitemap,如果你想在简单一点,你只需要选择

sitemap.txt,把 URL 网址复制到这个文本文件中就可以。

3、如何提交网站地图

通常向百度提交 sitemap 网站地图的方法很简单,你只需要登录百度搜索资源平台,你就会在:

网站支持-数据引用-链接提交中

如何让各大搜索引擎搜索收录到刚建的wordpress网站

让各大搜索引擎搜索收录到刚建的wordpress网站方法如下:

一、提交入口(这里以百度举例)

打开百度站长

2.链接提交

3.手动提交

4.填写网址,提交即可

二、外链建设

可以通过去各个论坛发布带有网址的文本,让搜索引擎蜘蛛爬行网站,从而收录。查看外链的方法如图:

wordpress中怎样设置不让搜索引擎搜索

wordpress系统本身是对搜索引擎友好的,如果网站的内容比较私密不希望蜘蛛爬取,可以能过以下方法实现:

1、进入wordpress "设置"  - "阅读"  - 然后勾选“建议搜索引擎不索引本站点”,再点击 “保存更改”。这样搜索引擎就不会收录和索引网站了。

2、还可以通过配置“robots.txt”来告诉搜索引擎,不要收录/索引网站的内容;

步骤:

1),新建一个文本文档,重命名为“robots.txt”;

2),在文本文件贴入以下内容并保存:

User-agent: *

Disallow: /

3),将设置好的“robots.txt”上传至网站的根目录。


新闻名称:wordpress引蜘蛛 网站怎么引蜘蛛
分享链接:http://myzitong.com/article/ddopdec.html