OpenResty在腾讯游戏营销技术中的应用和实践

这内里会涉及到一些呆板进修的算法去评估这个出价，最终确定了出价之后，他会把这个出价原路返回给 ADX 处事器。ADX 处事器收到这个出价之后，它会守候其他告白主的 DSP处事器的出价，放在一路较量来最终选择最跨越价的告白主的告白，然后把这次告白曝光的机遇给到这个告白主，展示这个告白主的告白素材，这个就是一个较量简化的及时竞价告白的流程。

内里必要做的一个工作就是，在这个 ADX 和 DSP 处事器之间的交互是通过 OpenRTB 协议来做的，这内里有两个题目必要办理：

• 第一个是流量很是大，ADX全部的告白哀求城市发给 DSP 处事器，有些大的媒体也许有好几万个QPS，假如好几家的话加起来很轻松会高出十万QPS。
• 尚有一个题目就是 ADX要求全部的DSP 必需在 100 毫秒返回出价相应，这个100ms包罗收集上的时刻，假如 100 毫秒之内我没有收到你相应的话，我就视为你放弃了这个出价。

虽然及时竞价告白技能方面有许多挑衅，首要有这么几块的挑衅。

• 第一个就是在数据方面，包罗标签发掘、人群扩散、画像说明，尚有一些及时说明、透视说明来帮助刷选投放方针人群，这个是在数据方面的技能挑衅。
• 第二个就是算法，算法会包罗两个较量焦点的算法。第一个就是 pCTR，第二个就是pCVR，pCTR 就是点击率预估算法，pCVR是转化率预估算法，这个转化也许会包罗多个，有下载、注册、付费、活泼等等都属于转化。这两个算法会用到此刻较量热的一些呆板进修的算法在内里。
• 第三个方面的挑衅就是在体系层面的挑衅，适才提到了 ADX 和 DSP 处事器，它之间会有较量高的QPS，其它就是时延有要求，100毫秒的要求。本日我分享的内容首要是侧重于在第三块，就是在体系层面怎么和 OpenResty 举办团结。

这个是及时竞价告白体系在体系侧的一个架构简图，最上面是流量层，各ADX的告白哀求流量会发到下面的接入层。接入层又包罗两部门，一个是静态的 CDN，一个是动态的 RTB 网关，CDN 存放告白的素材，RTB 网关会做一件工作，就是举办 OpenRTB 协议的编解码，另外还会做一些安详和流量节制等操纵。

在逻辑层包罗竞价引擎，最下面的就是数据层包罗 DMP 数据打点平台。这两个部门做的工作就是我们方才说的，一路来确定这个告白哀求是不是我们必要的用户，假如是我们必要的用户的话，我们怎么样给它估算一个价格。

这内里标了橙黄色字体的，就是我们用 OpenResty 举办过重构可能说优化过的处所，包罗接入层的 RTB 网关，尚有逻辑层竞价引擎，以及 DMP 的数据打点平台的一部门。

我们就一个个来看一下我们怎么样做重构和优化的：

• 起首在接入层，我们直接用 OpenResty 定制了 RTB 网关，为什么用 OpenResty 定制 RTB 网关呢?方才提到了，它的流量很是大，这个可以充实验展 OpenResty 的nginx+lua协程高机能的特征。
• 其它尚有一个题目就是差异的媒体有差异的 OpenRTB协议，固然有尺度划定，可是它们照旧会有一些不同的，对接起来还长短常地贫困，以是对每家媒体都操作插件化方法做了不同化的处理赏罚，来进步开拓联调时辰的服从。
• 接下来就是在安详方面的一个优化，这里的安详计策跟前面讲的安详计策也许不太一样。这内里首要是基于 OpenRTB协议自己的安详计策，包罗Request id的各个阶段校验，尚有参数的非对称加密做防盗链，泄漏用户信息等，其它就是一些防作弊，我们把这些安详性方面的优化都放到这个 RTB 网关内里来做。
• 其它，RTB 网关还做了一个较量大的优化，就是把方针流量筛选也直接放到了 RTB 网关内里来了。之前传统的做法都是怎么做的呢?都是让流量进入到 DMP 数据平台内里来，颠末竞价引擎、告白检索、标签查询处事来到 DMP 数据打点平台内里去确定这个用户是不是我们必要的。由于DMP数据打点平台内里存放了全部用户的加密ID信息以及一些标签属性、偏好等等，之前都是这样来判定的。

着实我们可以简化一点，直接把这部门加密数据放到 RTB 网关内里来，虽然也会碰着一个题目就是用户的加密标识信息很是大，或许会有十几亿条，其它一个装备标识加密后至少是32个字符串，假如所有存放到内存内里的话大提纲十几个G，虽然这还不包罗查找索引特另外开销。

那我们就去探求一个哈希算法，可以把一个牢靠长度的字符串直接转化为一个整型，然后我们把这个整型直接通过Bitmap直接映射到 512 兆的内存中的一个bit中去。这样就可以直接通过 512 兆的内存存放40亿的加密装备号，虽然也会有差异的加密装备号映射到沟通的比特位内里去了，但这个没有相关，我们照旧继承走之前原本的路径，让它在最后头 DMP 内里再做一次判定。

颠末这么一个简朴的优化之后，我们在第一时刻内里可以过滤掉或许80%以上的流量，以是对整个体系的机能也是有很是大的晋升。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!