高效共享GPU！浪潮AIStation突破企业AI计算资源极限

某企业AI开拓面对的题目

某企业有四台8卡GPU处事器供50位开拓职员行使，典范的人多资源少。详细来说，有以下几大题目：

人均不敷一张GPU卡，GPU行使必要彼此和谐，开拓服从低;每十多工钱一个小组共用一个GPU节点，也许使有的小组资源空闲而有的小组却无资源可用，造成资源孤岛;缺乏优先机制，重要使命无法获得实时提交;在白日GPU卡险些所有效于开拓情形建设，开拓职员只能在晚上提交实习使命，模子实习数目很是有限。

AIStation三招办理企业算力题目

AIStation是面向AI企业开拓场景的人工智能资源平台，可通过资源配额、GPU共享、列队托管三招“组合拳”，智能化分派GPU计较资源，进步资源操作率，辅佐用户进步开拓服从。

起首，AIStation收拢分手的计较资源，提供集群式的池化打点，并配置资源配额计策，实现多用户公正平衡行使资源。

AIStation将开拓用户分别为5个用户组，每个用户组10人，并按照营业需求配置每组和每个用户的行使配额，如可配置每组行使6张GPU卡、40个CPU核。并对每个用户的开拓情形行使时长、同时提交使命数目举办限定。

其次，AIStation通过GPU共享计策，可以让多人共用一张GPU卡且互不影响。

AIStation同一打点4台GPU节点，将个中2个节点的16张GPU卡配置为开拓资源组，用于开拓情形建设，剩下16张GPU卡为实习资源组，用于模子实习。通过共享计策，AIStation可将开拓资源组的每张GPU卡切分为8份，每份行使4G显存。这样原本的16张GPU卡相等于变为了128张卡。而且通过配置CPU超线程计策扩展CPU核数，满意50个用户同时建设开拓情形的需求。用户也可以按照本身的模子配置batchsize和显存行使的巨细。

GPU共享模式

最后，AIStation通过使命列队托管、界说使命优先级，充实操作空闲时刻实习使命，而且可按照优先级调治使命列队运行。

用户可同时提交多个实习使命，资源不敷时列队守候，一个使命实习竣事后自动开释资源给列队守候的使命，从而可以充实操作夜间、周末实习使命，延迟GPU的行使时刻。同时用户可配置优先级，让重要使命优先实习。

开拓用户使命托管

AIStation取得明显结果

GPU行使时刻加大近1倍。原本单个GPU节点分派给一个用户小组行使，每卡天天的均匀行使时刻仅为14.4小时。AIStation通过GPU共享、使命托管，办理资源孤岛，将每卡天天的均匀行使时刻晋升到22.8小时。

一天周期内集群GPU行使环境

GPU操作率晋升50%。原本用户在开拓阶段独有一张GPU，GPU操作率仅为10%，实习阶段可达90%，天天每卡的均匀操作率为30%。行使AIStation后，开拓阶段8人共用一张GPU卡，GPU操作率可上升为80%，实习阶段为90%，天天每卡的操作率可到达80%。

GPU行使环境比拟

每周实习使命的数目增大一倍多。假设提交一个ImageNet数据集和一个ResNet50模子，行使1张Tesla V100 GPU卡实习使命，每个使命的实习时刻或许为12小时。

原本由于人均不足一张卡， 白日GPU卡用于建设开拓情形，晚上才气实习使命，那么一个事变日可以完成的使命数最多为32个，即一周可以完成160个使命。

而AIStation支持使命列队，可以最大限度的行使GPU资源。一周可以完成368个使命数，服从晋升2.3倍。假设开拓团队单个项目均匀必要实习的使命数为50，那么每个月的项目完成数从3个晋升到7个。

可以看出，海潮AIStation通过对计较资源的高效打点、调治，在GPU行使时刻、操作率和实习使命数目上，对比原方案均实现了大幅晋升，最大化地优化了资源行使。

海潮AIStation人工智能资源平台面向AI企业开拓场景，致力于辅佐企业构建一体化的AI开拓平台，为AI开拓工程师提供高效的计较力支撑、精准的资源打点和调治、火速的数据整合及加快、流程化的AI开拓营业整合，助力AI企业进步开拓服从和产物上市速率，加强企业竞争力。

除了高效的资源打点，AIStation在开拓情形建设、数据打点、开拓流程打点等方面也示意精彩。在后续文章中，我们将团结现实应用场景为各人具体先容，敬请存眷。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!