Perlスクリプトとの組み合わせ

perl mean.pl

#!/usr/bin/perl
#ファイルリスト作成
open(LS,"/bin/ls sample-????????.dat |");
open(OUTDATA,"> result.out"); #結果出力ハンドラ作成
while(){
 chop();
 # Rコマンドの実行
 open(R,"R --vanilla --slave --args $_ < ./mean.R |");
 while($r = ){
   printf("%s",$r);
   printf OUTDATA ("%s",$r); #結果の出力
 }
 close(R);
}
close(LS);
close(OUTDATA);

#!/usr/bin/R -f
args <- commandArgs()
if(length(args)!=5){
  cat(sprintf("file"))
  q()
}
file <- args[5]
data <- read.table(file)
price <- na.omit(data)
lprice <- diff(log(price[,3]))
cat(sprintf("%s %f\n",file,mean(lprice)))

インデックスに戻る

install.package("snow")

snowではプロセス間通信にMPI, SOCK, PVM, NWSを選択することができる. SOCK通信は特別なライブラリなしで単一コンピュータ上の複数コアでの並列計算に使用することができる. さらに, MPI(Message Passing Interface)を用いることにより, MPIライブラリを用いて大規模なクラスタ並列計算も可能である. このとき, Rmpiとsnowを組み合わせて使うことになる. Rmpiをインストールするためには計算機にOpenMPIまたはMPICHを別途インストールし RmpiをRへインストールすることが必要である.

• 1 snowのライブラリを読み込む( library(snow) ). 必要に応じて他ライブラリもこの時読み込む.
• 2 並列計算を行う関数を定義する
• 3 makeCluster()でクラスタを作る
• 4 各クラスタの初期値をclusterCall()やclusterExport()で設定する
• 5 clusterApply()やclusterApplyLB(), parLapply()で並列計算を実行する
• 6 出力結果をまとめる
• 7 必要であれば[4]-[5]を繰り返す
• 8 stopCluster()でクラスタを解放する

　[文献]
Rossini, A. and Tierney, L. and Li, N. (2003) "Simple parallel statistical computing", in R. UW Biostatistics working paper series, Paper 193, University of Washington.
Tierney, L. and Rossini, A. and Li, N. and Sevcikova, H. (2004) "The snow Package: Simple Network of Workstations", Version 0.2-1.

インデックスに戻る

makeCluster()

scl <- makeCluster(4,type="SOCK")

scl <- makeCluster() corenum <- length(clusterCall(scl,function() Sys.info()))

mpirun -np 100 RMPISNOW --vanilla --no-save < Rscript.r > logfile.log

clusterCall()

f1 <- function(n){ return(mean(rnorm(n)))} clusterCall(scl, f, 100)

clusterExport(scl, list)

myvar <- 666 clusterExport(scl, "myvar")

clusterEvalQ()

clusterEvalQ(scl,Sys.getenv("HOME"))

clusterApply(scl, seq, function, ...)

f2 <- function(n,d){return(mean(d*rnorm(n)))} clusterApply(scl, 1:10, f2, d=0.3)

clusterApplyLB(scl, seq, function, ...)

f2 <- function(n,d){return(mean(d*rnorm(n)))} clusterApply(scl, 1:10, f2, d=0.3)

parLapply(scl, list, function, ...)

f2 <- function(n,d){return(mean(d*rnorm(n)))} parLapply(scl, 1:10, f2, d=0.3)

parSapply(scl, list, function, ...)

f2 <- function(n,d){return(mean(d*rnorm(n)))} parSapply(scl, 1:10, f2, d=0.3)

parRapply(scl, x, function,...)

x <- matrix(1:10, 2, 5) f3 <- function(n,d){return(n*d)} parRapply(scl, x, f3 d=0.3)

parCapply(scl, x, function, ...)

x <- matrix(1:10, 2, 5) f3 <- function(n,d){return(n*d)} parCapply(scl, x, f3, d=0.3)

stopCluster()

stopCluster(scl)

インデックスに戻る

parallel-mean.pl(このサンプルコードはMacおよびLinuxで実行することを仮定している. Windowsで実行する場合には/bin/ls を dir /s /bに置き換えられたい) ではカレント・ディレクトリにあるデータ・ファイルのリストを作りRスクリプトの引数に与えて実行している. parallel-mean.plを実行すると平均値が表示されresult.outに計算結果が格納されることを確認してほしい. また, clusterApplyLB()関数を用いるとクラスタサイズに応じて適切なプログラムの並列実行がなされる. このサンプルコード内の計算負荷nopt.mean()関数を書き換えるだけでプッシュ・プル型の多くの並列計算を行うための雛形としてparallel-mean.Rは利用できる. snowを使うことにより並列計算の実行は極めて単純なコードのみで可能となる.

#!/usr/bin/perl
#ファイルリスト作成
open(OUTDATA,"> result.out"); #結果出力ハンドラ作成
open(LS,"/bin/ls sample-????????.dat |");
$fl="";
while(){
 chop();
 $fl=$fl." ".$_;
}
close(LS);
# Rコマンドの実行
open(R,"R --vanilla --slave --args$fl<./parallel-mean.R |");
$r=;
while($r=){ # 結果を書き出す
    print OUTDATA $r;
    print $r;
}
close(OUTDATA);

args <- commandArgs()
if(length(args)<5){
  cat(sprintf("file"))
  q()
}
#クラスタのコア数を設定 
corenum <- 4
#
library(snow)
library(Rmpi)
#ファイルリストをコマンド引数から得る
filelist <- c()
for(i in 5:length(args)){
      filelist <- c(filelist,args[i])
}
# MPIクラスタの初期化
scl <- makeCluster(corenum,"MPI")
.Last <- function() { stopCluster(scl) }
# 平均値を計算する関数を定義
nopt.mean <- function(file){
  if(!is.null(file)){
    data <- read.table(file)
    price <- na.omit(data)
    lprice <- diff(log(price[,3]))
    nopt.mean <- sprintf("%s %f",file,mean(lprice))
  }
  else{
    nopt.mean <- NULL
  }
}
#平均値を並列計算で得る
l<-clusterApplyLB(scl,filelist,nopt.mean)
#得られた結果を表示する
for(j in 1:length(l)){
    cat(sprintf("%d %s\n",j,l[j]))
}

インデックスに戻る

(C)2016 Takaki Hayashi and Aki-Hiro Sato. All rights reserved. 無断転用を禁ず