Uber永世定位体系及时数据说明进程实践！

可能行使Spark SQL：

%sql SELECT COUNT(cid), cid FROM uber GROUP BY cid ORDER BY COUNT(cid) DESC 

行使Zeppelin notebook中的Angular和Google Maps剧本，我们可以在舆图上表现集群中心标志和最新的5000个观光的位置，如下可看出最受接待的位置，好比位于曼哈顿的0、3、9。

集群0最高搭乘次数呈此刻哪个小时?

df.filter($"_id" <= "1")  
.select(hour($"dt").alias("hour"), $"cid")  
.groupBy("hour","cid").agg(count("cid")  
.alias("count"))show 

一天中的哪个小时和哪个集群的搭乘次数最多?

%sql SELECT hour(uber.dt), cid, count(cid) FROM uber GROUP BY hour(uber.dt), cid 

按日期时刻表现uber行程的集群计数

%sql select cid, dt, count(cid) as count from uber group by dt, cid order by dt, cid limit 100 

总结

本文涉及的常识点有Spark布局化流应用措施中的Spark Machine Learning模子、Spark布局化流与MapR-ES行使Kafka API摄打动静、SparkStructured Streaming耐久化生涯到MapR-DB，以一连快速地举办SQL说明等。另外，上述接头过的用例系统布局全部组件都可与MapR数据平台在统一集群上运行。

代码：

你可以以后处下载代码和数据以运行这些示例：https：//github.com/caroljmcdonald/mapr-spark-structuredstreaming-uber

呆板进修notebook的Zeppelin查察器：https：//www.zepl.com/viewer/github/caroljmcdonald/mapr-spark-structuredstreaming-uber/blob/master/notebooks/SparkUberML.json

Spark布局化流notebook的Zeppelin查察器：https：//www.zepl.com/viewer/github/caroljmcdonald/mapr-spark-structuredstreaming-uber/blob/master/notebooks/SparkUberStructuredStreaming.json

SparkSQL notebook的Zenpelin查察器：https：//www.zepl.com/viewer/github/caroljmcdonald/mapr-spark-structuredstreaming-uber/blob/master/notebooks/SparkUberSQLMapR-DB.json

此代码包括在MapR 6.0.1沙箱上运行的声名，这是一个独立的VM以及教程和演示应用措施，可让用户快速行使MapR和Spark。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!