posts/Abax.mdwn

   1 [[!meta  title="Notes on using and managing clusters"]]
   2
   3 Using
   4 -----
   5
   6 Our cluster runs the open source [Torque][]/[Maui][] [[portable batch
   7 scheduling system|PBS]] (PBS).  A batch scheduler takes user submitted
   8 jobs, and distributes them across the the cluster in an intelligent
   9 manner, so users don't need to worry about sharing resources fairly or
  10 [[ssh]]ing into compute nodes to start their jobs.  Users submit jobs
  11 to the queue using `qsub`.  I've compiled my own [[brief
  12 intro|pbs_queues]] to `qsub`, and there are lots more floating about
  13 the internet.
  14
  15 While PBS queues are great for distributing embarassingly parallel
  16 jobs across the cluster, your application may need processes running
  17 on seperate compute nodes to share data.  A common approach is to use
  18 the [[Message Passing Interface|MPI]] (MPI).  Our cluster uses the
  19 [mpich2][] implementation.  Cluster-aware applications written in MPI
  20 can be started through Torque using an [alternate mpiexec][mpiexec]
  21 from the [Ohio Supercomputer Center][OSC].  There is a nice, brief
  22 [introduction][] by Kristina Wanous at the [University of Northern
  23 Iowa][UNI].
  24
  25 Managing
  26 --------
  27
  28 Our cluster (9 dual-core nodes) runs [Debian][].  The compute nodes
  29 all boot to [[NFS roots|nfs_root]] off the server node.  Once that
  30 hurdle was passed, setting up Torque, Maui, mpich2, and mpiexec was
  31 pretty simple, mostly the usual:
  32
  33     wget ...
  34     tar ...
  35     configure ...
  36     make
  37     make install
  38
  39 with a bit of configuring for our setup.  I'll put up some more
  40 detailed notes and our config options when I get the time.
  41
  42 [[!tag tags/linux]]
  43 [[!tag tags/hardware]]
  44
  45 [Torque]: http://www.clusterresources.com/pages/products/torque-resource-manager.php
  46 [Maui]: http://www.clusterresources.com/pages/products/maui-cluster-scheduler.php
  47 [mpich2]: http://www.mcs.anl.gov/research/projects/mpich2/
  48 [mpiexec]: http://www.osc.edu/~djohnson/mpiexec/
  49 [OSC]: http://www.osc.edu/~djohnson/mpiexec/
  50 [introduction]: http://debianclusters.cs.uni.edu/index.php/MPICH_with_Torque_Functionality
  51 [UNI]: http://www.uni.edu/
  52 [Debian]: http://www.debian.org/