独立站防止被竞争对手分析网站SEO数据

在做外贸的时候，一直都在想办法分析竞争对手，做独立站的时候，更想利用各种工具去分析竞争对手的网站，恨不能扒开对手的服务器，徒手去挖掘对方的 SEO 优化布局。而转念一想，既然自己能够利用工具去分析对方，那竞争对手势必也能通过工具来分析自己。当然，自己这个菜鸟当前是不会被竞争对手放在眼里的，不过，既然你模仿了竞争对手，对方迟早能发现你的存在的。优秀的独立站也基本上不怕被对手分析。Young Free 写这篇文章的目的是希望能够给个思路延迟菜鸟被对手发现的时间。

我们在分析竞争对手的独立站时，常常会用到一个叫 Ahrefs 的工具，至于这个工具能有多厉害，可以移步外贸大神顾小北的博客《SEO最强的营销分析工具—Ahrefs 详解》。Ahrefs 这个工具分析网站主要是靠自己的爬虫机器人 (Robots) 去不停的爬取目标网站的页面信息然后上传到自己的服务器结合 Google 等搜索引擎进行数据分析。Ahrefs 有个检测功能，高级付费用户能够检测和自己网站相关链接和关键词，利用好这个检测，不仅你能去模仿对手，也能发现自己是否被人模仿了。

知道了 Ahrefs 这个工具是如何帮助我们分析竞争对手的网站的，我们也就能想办法阻止被 Ahrefs 分析，从而减少被竞争对手发现的几率，拖延时间。根据 Ahrefs 自述，他们的 Bots 是遵守 Robots.txt 协议的，这里我们就可以通过创建网站的 Robots.txt 文件来屏蔽 Ahrefs Bot。这里给出 Ahrefs、SEMrush 等其它爬虫的 bots 信息， 其中包含了一些没啥用，纯粹浪费流量的爬虫，可以根据自身需求来选择。请注意将 Robots.txt 上传到网站的根目录，并确保能正常访问，例如 http://www.ucwz.net/robots.txt

上传到服务器后，可以访问 Ahrefs 的网站，检查是否能被 Ahrefs 访问并接受规则。

不过，经过 Young Free 的测试，Ahrefs 并没有按照他们网站所说遵守 Robots.txt 协议。好在他们放出了自己的爬虫 IP 段，我们可以通过屏蔽他们的 IP 段来达到阻止 Ahrefs 爬取我们的网站的目的。如果独立站使用的服务器是腾讯云或者阿里云等国内厂商，或者自带防火墙规则的，我们可以将 IP 段添加到服务器服务商的防火墙规则里。这里以腾讯云为例，进入控制台–云服务器–安全组–新建/添加规则。如下图。

如果您用的服务器服务商没有自带防火墙，而您也没用宝塔，更不会修改服务器系统的防火墙规则，推荐您使用 Cloudflare ，既可以加速您的网站，其防火墙更能保护好您的网站安全，我们可以通过 Cloudflare 的防火墙规则来屏蔽 AhrefsBot 的访问。在 CF 的 防火墙Firewall–工具Tools里逐个添加IP段，如下图。

做完以上这些后，虽然不能完全避免被竞争对手分析，但至少做出了努力，让 Ahrefs 不能完整的获取你网站的数据，也一定程度上的防止被竞争对手分析。底裤还在。若想保护好自己的网站数据不被竞争对手挖掘完，还有很多值得去做的，并不是单单屏蔽一个 Ahrefs 或者 SEMrush 就可以了的，市面上有多少能够分析网站的工具还有很多，需要自己根据需要去逐个采取措施。Young Free 在这里只是给个思路，要是真把大部分的工具在这里扒出来，估计 Young Free 的博客就保不住了。

当然，既然做了独立站，就要不怕被竞争对手分析，越是优秀的独立站，模仿的人越多，我们要做的是一直被模仿，从未被超过。

喜欢 (15)赏

[]

分享 (0)