自建站反爬技巧分享

有很多人在投放产品时候，会被竞争对手用spy工具复制你的产品和款式，特别现在很多采集器，采集效率极高，导致我们跑着跑着，发现莫名的投产比下降，以下从细节处理上讲解，如何增加对手的爬取难度
第一，图片水印，增加对手爬取后处理的麻烦，部分水印可以加得刁钻一些，让对手无法用一键去水印方式去除
第二，将产品页、类目页的产品加载全部使用javascript动态加载，动态加载可以规避市面上大部分的爬虫
第三，将产品页分成两截，必须向下滚动，才能加载后续内容，增加采集的编程成本，这种方式可以规避很多采集器
第四，对重复的用户根据ip、ua、指纹识别，采取加载上限，或者限制加载内容的间隔，降低对手的采集效率
第五，限制产品查看，要求用户登录