递归数据效率低如何办?用并行计算!
发布时间:2021-11-05 17:34:59 所属栏目:资讯 来源:互联网
导读:对于比较复杂的互联网应用业务场景,比如海量数据商品搜索、广告点击算法、用户行为挖掘、关联推荐模型等等,由于数据量极大,对于数据处理的速度会要求非常高。要大幅提升算法的效率,最直接的方法就是:使用并行计算。 但是,并行计算有一个很大的问题:传
对于比较复杂的互联网应用业务场景,比如海量数据商品搜索、广告点击算法、用户行为挖掘、关联推荐模型等等,由于数据量极大,对于数据处理的速度会要求非常高。要大幅提升算法的效率,最直接的方法就是:使用并行计算。 但是,并行计算有一个很大的问题:传统的程序都是基于单机编写的。要更改为多机并行的程序,需要耗费较大的学习成本。尤其在真实的场景当中,业务本身很复杂,初学者一头扎进去,容易绕晕了头。 因此,我们需要一个通俗易懂的例子来直接看到并行计算的优势。 下面,淘宝网高级专家千峰就编写了这样的一个例子,51CTO受邀将这篇文章分享给大家。 文章概述 问题: 请写一个程序,输入M,然后打印出M个数字的所有排列组合(每个数字为1,2,3,4中的一个)。比如:M=3,输出: 1,1,1 1,1,2 …… 4,4,4 共64个 注意:这里是使用计算机遍历出所有排列组合,而不是求总数,如果只求总数,可以直接利用数学公式进行计算了。 传统的单机解决方案: 1)单机递归 将n(1<=n<=4)看做深度,输入的m看做广度。当m数字很大时,会超出单台机器的计算局限导致缓慢。 2)单机迭代 求m个数字的排列组合,实际上都可以在m-1的结果基础上得到。但是,当m=14的时候,结果已经上亿了。无论以什么格式存,最终在单机上都会内存溢出。 (编辑:好传媒网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |