网站生成静态页面攻略4:防采集而不防搜索引擎策略

ぁ尐熙ぁ414

ぁ尐熙ぁ414

2016-02-19 10:09

下面是个超简单的网站生成静态页面攻略4:防采集而不防搜索引擎策略教程,图老师小编精心挑选推荐,大家行行好,多给几个赞吧,小编吐血跪求~
从前面的我讲的采集原理大家可以看出,绝大多数采集程序都是靠分析规则来进行采集的,如分析分页文件名规则、分析页面代码规则。
    一、分页文件名规则防采集对策
    大部分采集器都是靠分析分页文件名规则,进行批量、多页采集的。如果别人找不出你的分页文件的文件名规则,那么别人就无法对你的网站进行批量多页采集。
    实现方法:
    我认为用MD5加密分页文件名是一个比较好的方法,说到这里,有人会说,你用MD5加密分页文件名,别人根据此规则也可以模拟你的加密规则得到你的分页文件名。
    我要指出的是我们加密分页文件名时,不要只加密文件名变化的部分
    如果I代表分页的页码,那么我们不要这样加密:page_name=Md5(I,16)&".htm"
最好给要加密的页码上再跟进一个或多个字符,如:page_name=Md5(I&"任意一个或几个字母",16)&".htm"
    因为MD5是无法反解密的,别人看到的会页字母是MD5加密后的结果,所以加人也无法知道你在 I 后面跟进的字母是什么,除非他用暴力****MD5,不过不太现实。
    二、页面代码规则防采集对策
如果说我们的内容页面无代码规则,那么别人就无法从你的代码中提取他们所需要的一条条内容。所以我们要的这一步做到防采集,就要使代码无规则。
    实现方法:
    使对方需要提取的标记随机化
    1、定制多个网页模板,每个网页模板里的重要HTML标记不同,呈现页面内容时,随机选取网页模板,有的页面用CSS+DIV布局,有的页面用table布局,此方法是麻烦了点,一个内容页面,要多做几个模板页面,不过防采集本身就是一件很烦琐的事情,多做一个模板,能起到防采集的作用,对很多人来说,都是值得的。
    2、如果嫌上面的方法太麻烦,把网页里的重要HTML标记随机化,也可以。
    做的网页模板越多,html代码越是随机化,对方分析起内容代码时,就越麻烦,对方针对你的网站专门写采集策略时,难度就更大,在这个时候,绝大部分人,都会知难而退,因为这此人就是因为懒,才会采集别人网站数据嘛~~~再说一下,目前大部分人都是拿别人开发的采集程序去采集数据,自己开发采集程序去采集数据的人毕竟是少数。
    还有些简单的思路提供给大家:
    1、把对数据采集者重要,而对搜索引擎不重要的内容用客户端脚本显示
    2、把一页数据,分为N个页面显示,也是加大采集难度的方法
    3、用更深层的连接,因为目前大部分采集程序只能采集到网站内容的前3层,如果内容所在的连接层更深,也可以避免被采集。不过这样可能会给客户造成浏览上的不便。如:
    大多网站都是 首页----内容索引分页----内容页
    如果改成:
    首页----内容索引分页----内容页入口----内容页
    注:内容页入口最好能加上自动转入内容页的代码

meta http-equiv="refresh" content="6;url=内容页(http://www.xiaoqi.net)"
    其实,只要做好防采集的第一步(加密分页文件名规则),防采集的效果就已经不错了,还是建议两条反采集方法同时使用,给采集者增加采集难度,使得他们知难页退。 
展开更多 50%)
分享

猜你喜欢

网站生成静态页面攻略4:防采集而不防搜索引擎策略

Web开发
网站生成静态页面攻略4:防采集而不防搜索引擎策略

网站生成静态页面攻略3:防采集策略

Web开发
网站生成静态页面攻略3:防采集策略

s8lol主宰符文怎么配

英雄联盟 网络游戏
s8lol主宰符文怎么配

网站生成静态页面攻略2:数据采集

Web开发
网站生成静态页面攻略2:数据采集

搜索引擎不收录网站页面的16种原因

Web开发
搜索引擎不收录网站页面的16种原因

lol偷钱流符文搭配推荐

英雄联盟 网络游戏
lol偷钱流符文搭配推荐

微软真人搜索引擎

平面设计 标志设计 UI设计 VI设计
微软真人搜索引擎

搜索引擎页面分析中的 javascript 处理

Web开发
搜索引擎页面分析中的 javascript 处理

lolAD刺客新符文搭配推荐

英雄联盟
lolAD刺客新符文搭配推荐

ASP编程实用20例

ASP编程实用20例

基于Android 监听ContentProvider 中数据变化的相关介绍

基于Android 监听ContentProvider 中数据变化的相关介绍
下拉加载更多内容 ↓