微软开源大局限数据处理赏罚项目 Data Accelerator

微软开源了一个原为内部行使的大局限数据处理赏罚项目 Data Accelerator。自 2017 年开拓以来，该项目已经大局限应用在各类微软产物事变管道上。

据微软官方开源博客先容，Data Accelerator 的一些要领可以更轻易地在 Apache Spark 上构建流式传输管道：

• 即插即用：轻松配置输入源和输出吸取器，以便在几分钟内成立管道。Data Accelerator 支持从 Eventhub 和 IoThub 取数据，并支持将数据下载到 Azure blob、CosmosDB、Eventhub 等。
• 无代码体验：无需编写任何代码即可配置警报和数据处理赏罚。通过法则计划器体验，您可以指定简朴和聚合的数据处理赏罚，标志和警报。
• SQL 查询：在 SQL 中编写伟大的处理赏罚——无需在 Scala 中事变。内置的可扩展性模子还支持用户界说的函数并操作 Azure 成果，譬喻，用于 ML 中流。
• 及时查询：通过针对传入数据样本运行，在几秒钟内验证您的查询，从而节减配置和测试管道处理赏罚的事变时刻。

Data Accelerator 不只仅是 EventHub 和数据库之间的管道。它应承用户在继承流式传输的同时重塑传入的变乱，然后将统一变乱的差异部道路由到差异的数据存储，同时提供康健监控和整个管道状态的警报。

Data Accelerator 还提供设置 UI 和法则/查询计划器体验，行使户无需编写任何代码即可启动和运行。

另外，任何举办流数据处理赏罚的人凡是都必要行使滑动窗口处理赏罚数据，或处理赏罚耽误达到数据，可能随时刻累积数据。Data Accelerator 支持并简化了这些高级成果的行使。

最后，微软提到，Data Accelerator 增援 dev-test 轮回的快速验证周期，个中查询针对当地采样的变乱运行在陈设之前就能迭代批改到可用，这可以节减大量测试事变管道处理赏罚的时刻。

【编辑保举】

1. 腾讯重磅开源 DCache，漫衍式 NoSQL 存储体系
2. VS Code的“Chromium”版来啦：安详、开源、掩护你的隐私
3. 红帽宣布企业开源观测陈诉：计谋重要性、数字化转型和创新
4. 微软推最新措施说话Bosque 以Functors代替Loop轮回
5. 微软推出新编程说话 Bosque，逾越布局化措施计划

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!