第943章 薄利多销才是互联网

可是，紫微星有！

郭鹏飞自信满满的说：“这都是小意思，如果想技术性的反爬虫，咱们这边搞个技术小组，一周就能解决。问题是，有没有这个必要。”

张一明皱皱眉头，“现在的情况有点复杂。头条文学的内容，除了在自家网站上，也会在今日头条的频道里出现。这没问题，都是紫微星的集团渠道。可问题是，第三方渠道怎么办？咱们已经运作好了，要把头条文学的推广到搜狐读书频道、企鹅读书频道和网易读书频道。”

郭鹏飞点了点头，“问题就在这，第三方平台不可控。”

就算自家的平台技术强大，能够反爬虫。

爬虫协议是一个君子协议。

百度和微点说：“同行们，我把你们加黑名单了，不许来爬取我们的内容了。”然后，同行们就遵守约定，就不爬取了。

这是一个承诺屏蔽，而不是技术屏蔽。

也就是说，就算加黑名单了，也可以利用技术绕开协议，强行爬取。

那些搜索引擎都是正规公司正规网站，都会遵守君子协议。国内正规企业不遵守的案例，也就是360爬取百度百科的内容了。

可把内容授权给第三方平台后，第三方平台技术不够，就直接拉跨。盗版网站直接去第三方平台抓取内容了。

随着网络文学的兴起，这种第三方正版平台，只会越来越多。

前世就是这样。

盗版网站才不管这些。

这是非法网站。

这伙人连法律都不遵守，会遵守君子协议？

直接绕开协议，强行爬取。就可以很容易地把正版网站上的付费内容，爬取到盗版网站中来。

现在的问题是，网站的技术不够，不能利用技术反爬虫。奢望加入黑名单遵守君子协定是不可能的。