“无形”战役：爬虫技能是兵器，你的手机是一名不知情的士兵

原问题：“无形”战役：爬虫技能是兵器，你的手机是一名不知情的士兵

编者按：在互联网的天下中，尤其是零售规模，一向都在经验着一场无形的数据战役，它们的兵器是爬虫技能，我们每一个参加者，也许就是一名不知情的士兵。日前，《连线》杂志颁发了一篇文章，具体先容了这一征象。

很多公司正在网上动员一场无形的数据战役。你的手机也许是一名不知情的士兵。

在零售规模，从亚马逊、沃尔玛到小型创业公司的都想知道竞争敌手收取的用度是几多。基于实体店的零售商可以派人——偶然被称为“隐秘购物者”，冒充去竞争敌手的市肆购物，然跋文下价值。

在线上，固然没须要把人送到其他处所，可是一个大型零售商可以贩卖数百万种产物。以是，让人赏识每一种商品并手动调解价值是不行行的。相反，这些公司行使软件扫描竞争敌手的网站并网络价值，这一进程被称为“爬虫”（scraping）。基于此，公司可以调解本身商品的价值。

零售价值优化公司Competera的首席执行官亚历山大·高尔金（Alexandr Galkin）说，亚马逊和沃尔玛等公司有专门的内部团队认真网络数据。其他公司则会转向像它们这样的公司获取处事。Competera从网上汇集从鞋类零售商 Nine West 到家产设备商 Deelat等公司的价值数据，并行使呆板进修算法辅佐其客户抉择差异产物的价值。

亚马逊没有答复这些举动是否会影响其他网站的题目。可是按照布拉德·斯通的著作《万货市肆》（The Everything Store），亚马逊在2010年收购的Diapers.com的首创人指责亚马逊行使这种呆板人来自动调解价值。

爬虫听起来也许很险恶，但这是收集运作的一部门。谷歌和必应（Bing）抓取网页为它们的搜刮引擎体例索引。学者和记者行使爬虫软件网络数据。Competera包罗宏碁欧洲和松下在内的一些的客户，也会行使该公司的“品牌谍报”处事来查察零售商对其产物收取的用度，以确保它们遵守订价协议。

对付零售商来说，爬虫也许是双向的，这是工作变得风趣的处所。零售商不只想看看它们的竞争敌手在做什么，也想阻止竞争敌手窥伺它们；零售商也但愿掩护常识产权，如产物照片和描写，这些照片和描写可以被其他公司爬去并从头行使。Akamai Technologies收集安详副总裁乔希·沙乌尔（Josh Shaul）说，很多公司城市陈设防止法子来反爬虫。一种技能是：向真实的人表现差异的价值，而不是向呆板人表现差异的价值。有些网站也许会对网络数据的呆板人将价值表现为天文数字或零。

这种防止为新的犯法缔造了机遇。一家名为Luminati的公司辅佐客户，包罗Competera，凡是城市伪装呆板人以停止被发明。个中有一项处事，可以使呆板人看起来像是来自智妙手机的会见。

Luminati的处事像是一个僵尸收集，一个运行恶意软件的计较机收集，黑客用它来动员进攻。 然而，Luminati 并没有奥秘地经受装备，而是诱使装备全部者接管它的软件和另一个应用措施。 好比，从 Beka 下载MP3 Cutter的安卓用户可以选择：赏识告白或应承应用措施行使“你装备的一些资源(WiFi 和很是有限的蜂窝数据)。”假如你赞成让这个应用措施行使你的资源，Luminati 会天天行使你的手机几秒钟，当它闲置的时辰可以路由客户呆板人的哀求，并向应用制造商付出用度。 Beka 没有回应记者的置评哀求。

正在举办的呆板人和鼠标之战提出了一个题目：你怎样检测一个呆板人？这很棘手。偶然辰，呆板人现实上会汇报它们正在会见的网站它们是呆板人。当一个软件会见web处事器时，它会发送一点信息以及它对页面的哀求。传统赏识器宣称本身是谷歌Chrome、微软Edge或其他赏识器。呆板人可以用这个进程汇报处事器它们是呆板人。可是它们也可以说谎。检测呆板人的一种技能是会见者会见网站的频率。假如会见者每分钟提出数百个哀求，就很有也许是呆板人。另一种常见的做法是查察会见者的互联网协议地点。譬喻，假如它来自云计较处事，这体现它也许是呆板人，而不是平凡的互联网用户。

沙乌尔说，伪装呆板人流量之类的技能使得依靠互联网地点“险些毫无用处”。Captchas可以提供辅佐，可是它们会给正当用户带来未便。 以是 Akamai 正在实行一些差异的对象。 它不只仅探求呆板人的配合举动，也在探求人类的配合举动，并让这些用户通过。

当你点击手机上的一个按钮时，你的手机就会轻轻的移动。手机的加快度计和陀螺仪可以检测到这种移动，并发送到Akamai的处事器。细小移动数据的存在是证明用户是人类的线索，它的缺失则是用户也许是呆板人的线索。

Luminati的首席执行官奥弗·维伦斯基（Ofer Vilenski）暗示，该公司还没有提供一个能办理这个题目的要领，由于这是一个相对不常见的做法。 可是沙乌尔以为，呆板人制造商们找到应对方法只是时刻题目。 然后就是新一轮创新的时辰了。互联网呆板人军备比赛也是云云。

好呆板人和坏呆板人

对付Akamai和其他试图打点呆板人相干流量的公司来说，一个庞大挑衅是必要应承一些但不是全部的呆板人来抓取网站上的数据。假如网站完全屏障了呆板人，它们就不会呈此刻搜刮功效中。零售商凡是也但愿他们的商品和价值呈此刻价值较量网站上，好比谷歌购物和Price Grabber。

“真的有许多差异的场景，爬虫在互联网上被用于好的，坏的，可能在中间地带的某个处所,”沙乌尔说。 “我们在Akamai有一大批客户来辅佐我们，处理赏罚呆板人而不是人类会见它们网站的整体题目。”

一些公司也会爬本身的网站。安德鲁·福格（Andrew Fogg）是一家名为Import.io的公司的连系首创人，该公司提供基于收集的器材来网络数据。福格说，io的一个客户是一家大型零售商，有两个库存体系，一个用于客栈操纵，一个用于电子商务网站。可是这两个体系常常差异步。因此，该公司必要爬本身的网站，来探求差别。该公司可以更细密地整合其数据库，至少在短期内，行使爬虫来网络数据更具本钱效益。

其他的爬虫则运用于灰色地带。沙乌尔以航空业为例。旅游价值较量网站可以给航空公司带来营业，航空公司但愿它们的航班表现在这些网站的搜刮功效中。可是很多航空公司依赖像Amadeus IT和Sabre这样的外部公司来打点它们的预订体系。当你通过这些航空公司查询航班信息时，航空公司偶然必需向订票体系付费。假如大量呆板人不绝巡检航空公司各个航班的座位和价值信息，这些用度就会增进。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!