亲宝软件园·资讯

展开

R语言并行方法parallel

Kanny广小隶 人气:0

由于最近在进行一些论文的模拟,所以尝试了两种并行的方法:parallelsnowfall,这两种方法各有优缺,但还是推荐snowfall,整体较为稳定,不容易因为内存不足或者并行线程过多等原因而报错。

并行计算

并行计算: 简单来讲,就是同时使用多个计算资源来解决一个计算问题,是提高计算机系统计算速度和处理能力的一种有效手段。(参考:并行计算简介

而在我们平时的模拟中,在一台电脑或者服务器上,就是将我们的计算任务分散到多个不同的小的核中同时进行处理。

在模拟时什么地方可以用到并行?

并行操作一般适用于重复的操作,比如重复随机按照相同分布生成数据,然后分别同时进行模拟。这里就可以用并行。亦或者我们要做permutation计算p-value等信息,也可以进行并行,因为这种操作是简单的重复即可完成。

但诸如迭代,递归等算法就很难用并行实现,这种都叫串行。因为后一个的对象需要前一个对象的信息,只能先算完前一个,再计算后一个内容。

在进行实际的模拟比较多种方法的优劣时,通常需要重复实验成百上千次,一般可对这里进行并行操作,写在这里的操作是最简单的。但会有个缺点:可能会出现挂服务器跑了半天还没出现结果,但是自己又并不知道运行到哪了的现象。虽然有一些方法可以进行查看(例如snowfall中的sfCat()函数,但是输出的结果是相对来说比较凌乱的,而且有时还会输出不了,具体用法后面会进行介绍),但是还是可能等很久才出一些结果,如果并行某一个地方维度或者代码有些小瑕疵,整段结果都没法进行输出。

所以建议,如果能将并行写到每个算法中间的话,就尽量写到每个具体算法之中(如需要permutation的写到permutation中;如要多次for循环计算统计量以及其它信息的,直接替代for循环),这样后面实际操作时也比较方便。(这样做的缺点是可能导致内存占用过多,从而使并行出错)

怎么在R中看我们可以使用并行?

只需使用如下命令,就可以查看我们电脑能够使用的线程数:

detectCores()

理论上这个值 ≥2,我们电脑就可以进行并行操作(现在的电脑基本都是4往上的)。当然通常我们不会使用所有的线程来进行并行,不然。。。电脑很可能会崩。

言归正传,下面介绍两种R中常用的并行操作(默认会apply族相关操作)。

parallel(简单)

一个是parallel包,此包最大的优势就是非常的便捷,只需将我们原本的apply()修改为parApply()lapply()修改为parLapply()sapply()修改为我们常用的parSapply()等等,然后再在开头和结尾添加上相应的开始并行与结束并行的语句即可。

下面举个栗子(参考:How-to go parallel in R – basics + tips

首先我们使用lapply()进行下述操作向量化操作:

lapply(1:3, function(x) c(x, x ^ 2, x ^ 3))

输出结果为:

[[1]]
[1] 1 1 1

[[2]]
[1] 2 4 8

[[3]]
[1]  3  9 27

我们将其修改为并行方法,首先是初始化我们的并行:

library(parallel) # 载入parallel包

# 计算可用线程数,并设置并行使用线程数
no_cores <- detectCores() - 1

# 初始化
cl <- makeCluster(no_cores)

然后修改原本我们lapply()的命令:

parLapply(cl, 1:3, function(x) c(x, x ^ 2, x ^ 3))

注意:这里与一般的lapply()相比,要加上cl。

输出结果为:

[[1]]
[1] 1 1 1

[[2]]
[1] 2 4 8

[[3]]
[1]  3  9 27

到这里我们还没完,前面初始化我们的并行,这里需要结束我们的并行,释放我们用到的线程与内存,返还给系统。具体使用如下语句:

stopCluster(cl)

至此,一个简单的并行就完成了。

但事情远远没这么简单,在我们需要处理非常复杂的并行任务,反复使用parallel库中的并行方法时,我们没办法将我们的线程数开到最大,有时候甚至连一半都不行,它会出现下面所示的报错:

Error in unserialize(node$con) : error reading from connection

这种情况出现的原因就很复杂了,这是因为“调用核心数–计算机内存”的不匹配造成的。如果你的数据集很大,调用了很多核心,那么你的计算机内存如果不够匹配,就会出现连接不上的不错,甚至还出现卡机等现象。简言之就是爆内存了。

解决方法(不能说完全解决,只能说能有效缓解):

使用更少的线程进行并行;

如果你的电脑内存非常小,有一个简单的方法确定你的最大使用线程:

max cores = memory.limit() / memory.size();

将大量的并行分小部分进行;在代码中多使用rm()删除没用的变量,使用gc()回收内存空间;

不过后面我们介绍另一种并行方式snowfall相对而言就更加稳定了(虽然代码写起来会相对复杂一些),这个我们留待下一篇博客:R中两种常用并行方法snowfall 中进行详细介绍。

加载全部内容

相关教程
猜你喜欢
用户评论