违规爬虫

我要报错
  • 违规“爬虫”遭围堵,对大数据公司监管趋严

    回顾10月发生的大事,多家大数据公司被爆“违规爬虫”必须位列其中。北上广深杭地区的多家大数据公司、爬虫公司、放贷公司等被查。目前监管层的监管已经进入银行层面。银行内部人士透露,银行已经收到了通知,称监管层要求银行填写是否与第三方数据公司开展合作。有业内资深分析人士告诉《华夏时报》记者,大数据公司爬取明确禁止或未被授权的信息,都算是违规的,爬取数据时会有一个robots协议,明确了网站中哪些内容是不应被抓取的,哪些是可以抓取的。