网站被镜像怎么办?4个有效的处理方法分享!
网站被镜像是指,在网络上出现一个和你的网站一模一样的被复制的网站,除了域名之外全部都一模一样。
网站被镜像有两种情况:
一完全镜像你的站,除了网址不一样,完全山寨你的。
另一种是博彩站,都是抓取的你的网页内容,但是实际查看的时候,隐藏掉了,显示的是他的广告。
网站被镜像的情况出现之后,被镜像的网站还能够超过原网站的排名,原网站会遭受非常大的损失,被百度K站,造成排名和收录被清零的情况发生。
因此如果我们在日常网站维护中,发现这一类的镜像网站一定要及时处理,以减少对我们网站正常运营的影响。
网站被镜像之后的处理方法,
方案一:网站被镜像之后,第一时间,我们应该在百度站长平台进行反馈,百度站长平台的说明是,百度会自动识别一些恶意镜像网站,但是如果你发现你的搜索词(如你的网站名称)被镜像的网站排名已经到了第一页,那么你需要第一时间去百度站长提交,让百度将镜像网站放入镜像网站黑名单。
1、百度站长反馈中心:http://ziyuan.baidu.com/feedback
2、百度举报平台进行举报(如果镜像网站有博彩等非法的内容,举报是比较有效的)http://jubao.baidu.com/jubao/(百度站长反馈的时候,你需要像百度提交相关的资质证明,比如百度快照截图,网站备案资料,域名证书等等一些有力证明你的网站的资料,提交之后,百度会给与回复。)
方案二: 用.htaccess屏蔽镜像网站的ip和域名, 空间设置只能通过域名访问,ip不能访问(镜像程序狗基本都是利用程序爬网站ip进来镜像的)
如果网站镜像不是整站复制,而是使用解析的方式进行的,那么你可以查询到镜像网站的ip,并在服务器上拒绝ip,或者利用你的服务器防御软件,如云锁、安全狗等列入黑名单。如果你使用的是虚拟主机,那么你可以使用第三方防御,如360网站卫士、百度云加速,也可以对镜像网站进行杜绝。
1.截获IP
将上述文件命名为“ip.php”放在网站根目录,然后我通过镜像网站网址访问http://www.***.com/ip.php,然后在上述PHP程序生成的ip.txt中获取了这个IP:
<?php
$file = “ip.txt”;//保存的文件名
$ip = $_SERVER[‘REMOTE_ADDR’];
$handle = fopen($file, ‘a’);
fwrite($handle, “IP Address: “);
fwrite($handle, “$ip”);
fwrite($handle, “\n”);
fclose($handle);
?>
104.194.16.230 (美国)
2.屏蔽IP
在htaccess中添加下述代码:
Deny from 104.194.16.230
当你再次用镜像网址访问你的网站的时候就会报4.3错误了,现在百度即使收录了这个网址对你的网站也不会产生任何影响
如果你的服务器是windows服务器就是屏蔽一下ip就可以了,如果网站使用了cdn需要让cdn官方技术帮你屏蔽一下即可。LINUX主机通过修改.htaccess也可以设置,这部分可以让技术操作。
方案三: 转移网站镜像到其他网站,比如:把镜像我的网站转移到一些大型网站上去,对大型网站几乎没有影响,但如果有影响的话大型网站的反馈话语权也比我们有分量。
把刚才的403错误页面设置为其他网站网址,实现方法是在屏蔽IP的htaccess代码中添加:
ErrorDocument 403 http://news.baidu.com/
这样你访问你的镜像网址时,会发现它镜像的是其实百度新闻。后果可想而知。
方案四: 利用百度云或者加速乐等隐藏真实网站ip
方案五: 服务器网站目录保护,网站其他禁止脚本运行,php和asp都可以设置;
如果对方是扒的网站模板,同时批量采集网站信息怎么办?
1、限制IP地址单位时间的访问次数
分析:没有哪个常人一秒钟内能访问相同网站5次,除非是程序访问,而有这种喜好的,就剩下搜索引擎爬虫和讨厌的采集器了。
弊端:一刀切,这同样会阻止搜索引擎对网站的收录(不建议操作)
适用网站:不太依靠搜索引擎的网站
采集器会怎么做:减少单位时间的访问次数,减低采集效率
2、屏蔽ip
分析:通过后台计数器,记录来访者ip和访问频率,人为分析来访记录,屏蔽可疑Ip。(最有效的方式)
弊端:似乎没什么弊端,就是站长忙了点
适用网站:所有网站,且站长能够知道哪些是google或者百度的机器人
采集器会怎么做:打游击战呗!利用ip代理采集一次换一次,不过会降低采集器的效率和网速(用代理嘛)。
3、利用js加密网页内容
Note:这个方法我没接触过,只是从别处看来
分析:不用分析了,搜索引擎爬虫和采集器通杀
适用网站:极度讨厌搜索引擎和采集器的网站
采集器会这么做:你那么牛,都豁出去了,他就不来采你了
4、网页里隐藏网站版权或者一些随机垃圾文字,这些文字风格写在css文件中
分析:虽然不能防止采集,但是会让采集后的内容充满了你网站的版权说明或者一些垃圾文字,因为一般采集器不会同时采集你的css文件,那些文字没了风格,就显示出来了。
适用网站:所有网站
采集器会怎么做:对于版权文字,好办,替换掉。对于随机的垃圾文字,没办法,勤快点了。
5、用户登录才能访问网站内容
分析:搜索引擎爬虫不会对每个这样类型的网站设计登录程序。听说采集器可以针对某个网站设计模拟用户登录提交表单行为。
适用网站:极度讨厌搜索引擎,且想阻止大部分采集器的网站
采集器会怎么做:制作拟用户登录提交表单行为的模块
6、利用脚本语言做分页(隐藏分页)
分析:还是那句,搜索引擎爬虫不会针对各种网站的隐藏分页进行分析,这影响搜索引擎对其收录。但是,采集者在编写采集规则时,要分析目标网页代码,懂点脚本知识的人,就会知道分页的真实链接地址。
适用网站:对搜索引擎依赖度不高的网站,还有,采集你的人不懂脚本知识
采集器会怎么做:应该说采集者会怎么做,他反正都要分析你的网页代码,顺便分析你的分页脚本,花不了多少额外时间。
7、防盗链措施(只允许通过本站页面连接查看,如:Request.ServerVariables(“HTTP_REFERER”) )
分析:asp和php可以通过读取请求的HTTP_REFERER属性,来判断该请求是否来自本网站,从而来限制采集器,同样也限制了搜索引擎爬虫,严重影响搜索引擎对网站部分防盗链内容的收录。
适用网站:不太考虑搜索引擎收录的网站
采集器会怎么做:伪装HTTP_REFERER嘛,不难。
8、全flash、图片或者pdf来呈现网站内容
分析:对搜索引擎爬虫和采集器支持性不好,这个很多懂点seo的人都知道
适用网站:媒体设计类并且不在意搜索引擎收录的网站
采集器会怎么做:不采了,走人
9、网站随机采用不同模版
分析:因为采集器是根据网页结构来定位所需要的内容,一旦先后两次模版更换,采集规则就失效,不错。而且这样对搜索引擎爬虫没影响。
适用网站:动态网站,并且不考虑用户体验。(静态网站头部和底部调用不一样的模块,考虑八爪鱼和火车头两种类型的采集)
采集器会怎么做:一个网站模版不可能多于10个吧,每个模版弄一个规则就行了,不同模版采用不同采集规则。如果多于10个模版了,既然目标网站都那么费劲的更换模版,成全他,撤。
10、采用动态不规则的html标签
分析:这个比较变态。考虑到html标签内含空格和不含空格效果是一样的,所以< div >和< div >对于页面显示效果一样,但是作为采集器的标记就是两个不同标记了。如果次页面的html标签内空格数随机,那么
采集规则就失效了。但是,这对搜索引擎爬虫没多大影响。
适合网站:所有动态且不想遵守网页设计规范的网站。
采集器会怎么做:还是有对策的,现在html cleaner还是很多的,先清理了html标签,然后再写采集规则;应该用采集规则前先清理html标签,还是能够拿到所需数据。
我们要从被镜像发展到镜像别人的网站,了解如何镜像别人才会总结更好的镜像解决办法!
本文部分内容来自网络,经由凌哥SEO整理发布,不代表凌哥SEO技术博客立场,如有侵权,请联系删除。