Uber永世定位体系及时数据说明进程实践！

Spark MapR-DB Connector操作Spark DataSource API。毗连器系统布局在每个Spark Executor中都有一个毗连工具，应承行使MapR-DB(分区)举办漫衍式并行写入，读取或扫描。

写入MapR-DB吸取器

要将Spark Stream写入MapR-DB，请行使tablePath，idFieldPath，createTable，bulkMode和sampleSize参数指命名目。以下示例将cdf DataFrame写到MapR-DB并启动流。

行使Spark SQL查询MapR-DB JSON

Spark MapR-DB Connector应承用户行使Spark数据集在MapR-DB之上执行伟大的SQL查询和更新，同时应用投影和过滤器下推，自界说分区和数据位置等要害技能。

将数据从MapR-DB加载到Spark数据齐集

要将MapR-DB JSON表中的数据加载到Apache Spark数据集，我们可在SparkSession工具上挪用loadFromMapRDB要领，提供tableName，schema和case类。这将返回UberwId工具的数据集：

行使Spark SQL试探和查询Uber数据

此刻，我们可以查询持续流入MapR-DB的数据，行使Spark DataFrames特定于域的说话或行使Spark SQL来扣问。

表现第一行(留意行怎样按_id分区和排序，_id由集群ID和反向时刻戳构成，反向时刻戳起首排序最近的行)。

df.show 

每个集群产生几多次搭乘?

df.groupBy("cid").count().orderBy(desc( "count")).show 

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!