2019可信云大会丨清华研究生耿金坤：大规模分布式机器学习未来发展之我见
发布时间：2019-07-03 16:42:30 所属栏目：云计算 来源：中国IDC圈
导读：副标题#e# 7月2日，2019可信云大会在北京国际会议中心隆重开幕。2019可信云大会以智能云网边，可信创未来为主题，由中国信息通信研究院主办。 下午13:30大会特设的智能云论坛活动正式开始，MAXP大赛最佳案例获得者清华大学计算机系研究生耿金坤做了《大规模
|
实验。采用40Gbps网络，在4节点下训练VGG，可以看到尽管在这种情况下，GPU利用率依然很低，大部分情况属于空闲状态。但如果采用模型并行方式可以看到GPU利用率基本都有一个值，都是在用的，只是用的程度不一样。对比一下能够差多少，对于4节点来讲，在比较高速的网络带宽下，模型并行会比数据并行高1.77倍。 （编辑：好传媒网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
