马蜂窝搜索基于Golang并发代理的一次架构升级

搜刮营业是马蜂窝流量分发的重要进口。许多用户在行使马蜂窝时，城市有目标性田主动搜刮与本身观光需求相干的各类信息，衣食住行，事无大小，从而做出最切合需求的观光决定。

因此在马蜂窝，搜刮营业交互的下流模块很是多，首要有目标地、POI、热点景点、美食、阛阓、旅馆、问答、攻略、机票火车票等等，通过及时、精准地返回搜刮功效，辅佐用户做出本性化观光决定。

面临越来越高的流量，马蜂窝技能团队起劲实行对搜刮架构举办优化和进级，来担保搜刮营业的不变和机能。

方案配景

因为汗青缘故起因，优化前的搜刮处事与下流模块交的互方法首要为挪用各下流模块提供的函数，而且回收串行挪用。

图 1: 马蜂窝搜刮营业架构和技能系统

搜刮技能系统

• 存储——MySQL、Memcache
• 模块交互——Function Call
• 检索——Elasticsearch

搜刮营业架构

我们将搜刮营业抽象为三个成果模块:

1. 决定体系

认真按照用户意图、运营计策、点击日记等数据，团结决定体系相干算法和模子，决接应该展示哪些模块(游记、商品等)及各模块展示次序。

2. Agent

认真按照决定体系确定要展示的模块，从 Elasticsearch 和营业方获取模块(如游记、商品等)数据。

3. Format

认真按照差异模块的 UI 交互界说名目化数据，增补 UI 交互缺失数据。

串行的函数级挪用方法，使之前的搜刮处事架构存在一系列题目：

• 营业间耦合度高。跟着交互模块越来越多，导致搜刮处事耗时变得很长，均匀到达 400-500 ms;
• 因为与各营业间交互的方法是 Function Call，使上游很难节制下流模块阻塞时刻;
• 下流挪用增进相应时刻响应呈线性增添，使其很难再叠加新的成果，可扩展性差;
• 假如下流模块呈现妨碍，会因为接口阻塞引起超时，导致搜刮处事整体都受到影响，示意出白页，用户体验严峻降落。

图 2:题目说明

因此，我们必要找到一种方法来低落搜刮处事对付下流模块的依靠，以及模块间的耦合，从而晋升架构的整体可用性和机能。

基于 Golang 的并发署理实现

颠末调研，我们开拓了基于 Golang 协程实现的并发哀求署理器材，将之前函数级挪用的方法变为基于 TCP/IP 的 HTTP 接口挪用来与下流模块解耦，同时将串行挪用变为并发，实现超时节制和非常容错处理赏罚。

首要技能选型——协程(Goroutine)

Goroutine 是 Golang 轻量级线程实现，由 Go runtime 打点。它是 Go 并行计划的焦点，也是 Golang 最重要的特征之一，对比于历程、线程使命的抢占式调治，必要频仍举办上下文信息的内核和用户空间切换，Goroutine 可以由措施节制，使得它更易用、更高效、更精练。

Goroutine 维护了一组数据布局和多个线程，使命放在一个待执行行列中，由 Goroutine 维护的线程来拉取执行。当使命执行了操纵体系的 IO 操纵等必要守候时，Goroutine 操作 Linux IO 多路复用技能 (Epoll、Select) 举办执行行列的使命切换来实现并发。

对比于其他说话的线程，其默认占用内存为 2KB, 远小于其他说话的 M 级别。在机能开销方面，因为使命调治根基有措施节制，开销也远小于线程。

选型的进程中，我们比拟了 PHP 的 Swoole、Java 多线程并行处理赏罚方案，它们的 CPU 和内存耗损比 Golang 的 Goroutine 要跨越许多，而且并行哀求数目会受到资源的限定，在高并发的环境下假如节制不妥会导致处事瓦解。而行使 Goroutine 实现的并发署理，可以轻松支持万万级此外并发哀求。

图 3:并行与并发

Golang 并发署理实现

署理处事按哀求的处理赏罚流程，可以分别为 HTTP Server ——> 参数处理赏罚——> 并行哀求 (协程调治)——> HTTP 模块 ——> API 层。今朝我们的方案支持 HTTP/HTTPS 协议的哀求。

图 4:并发署理架构图

各模块成果提纲：

1. HTTP Sever：行使 Go 说话 httpserver package 实现，用于吸取和处理赏罚有署理需求的上游模块的 HTTP 哀求;
2. 参数处理赏罚：按照界说好的交互协议，将上游模块的哀求理会为并行哀求商品、游记等下流模块的哀求使命;
3. 协程调治：行使 Go 说话的 Goroutine 实现，认真执行对下流模块的并发哀求使命;
4. HTTP 模块：行使 Go 说话的 ioutil/http package 实现，认真与下流 API 模块以 HTTP 协议情势交互;
5. API 模块：将下流模块的函数挪用封装为 TCP/IP接口，将函数情势交互变为 HTTP 接口情势交互。

搜刮营业应用署理后，整体架构变革为：

图 5:并发署理在搜刮营业中的应用

小结与后续筹划

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!