美团是如何应用Spark处理大数据的？

该体系上线后结果精采：90%的Spark功课运行时刻都在5分钟以内，剩下10%的Spark功课运行时刻在30分钟阁下，该速率足以快速相应用户的说明需求。通过反馈来看，用户体验很是精采。今朝每个月该体系都要执行数百个用户举动说明使命，有用而且快速地支持了PM和运营职员的各类说明需求。

Spark在SEM投放处事中的应用

流量技能组认真着美团站外告白的投放技能，今朝在SEM、SEO、DSP等多种营业中大量行使了Spark平台，包罗离线发掘、模子实习、流数据处理赏罚等。美团SEM(搜刮引擎营销)投放着上亿的要害词，一个要害词从被发掘计策发明开始，就踏上了出色的SEM之旅。它颠末预估模子的筛选，投放到各大搜刮引擎，也许由于市场竞争频仍调价，也也许由于结果不佳被迫下线。而这样的观光，在美团每分钟都在产生。云云大局限的随机“迁移”可以或许顺遂举办，Spark功不行没。

Spark不止用于美团SEM的要害词发掘、预估模子实习、投放结果统计等各人能想到的场景，还有数地用于要害词的投放处事，这也是本段先容的重点。一个快速不变的投放体系是精准营销的基本。

美团早期的SEM投放处事回收的是单机版架构，跟着要害词数目的极速增添，旧有处事存在的题目逐渐袒露。受限于各大搜刮引擎API的配额(哀求频次)、账户布局等法则，投放处事只认真处理赏罚API哀求是远远不足的，还必要处理赏罚大量营业逻辑。单机措施在小数据量的环境下还能通过多历程始末应对，但对付云云大局限的投放需求，就很难做到“分身全局”了。

结论和瞻望

本文先容了美团引入Spark的发源，基于Spark所做的一些平台化事变，以及Spark在美团详细应用场景下的实践。总体而言，Spark因为其机动的编程接口、高效的内存计较，可以或许合用于大部门数据处理赏罚场景。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!