Rechnen im Pool


Der Pool hat schnelle Rechner und die haben viel RAM. Gute Sache.

Motivation

Wer im Pool rechnen will muss sich nen Login holen bei der RBI-Beratung. Man hat nur 60MB Platz in seinem Homedir (die schnell vom Browser-Cache gefüllt werden, wenn man das nicht abstellt) aber die Rechner haben meistens 60GB-Platten, die man in /var/tmp beschreiben darf. Dort darf allerdings auch jeder lesen (wenn man die Rechte nicht anders setzt) und die Daten erodieren nach einer Woche Nichtbenutzung. Die tmp-Verzeichnisse sind von jedem anderen Pool-Rechner erreichbar über /var/autofs/net/RECHNERNAME/

Java

Mit der installierten Java-Version kann man nicht lang arbeiten, sie stürzt schnell ab. Gut funktioniert hingeben die Version 1.4.2.08, die auch in /var/autofs/net/stryker/java zu finden ist.

Queues

Ursprünglich für den I6 eingerichtet gibt es das Queueingsystem auch im Pool. Um das zu benutzen schreibt man folgendes in seine ~/.bashrc:

export PATH=/opt/rbi/sge/bin/lx24-x86:${PATH}
export LD_LIBRARY_PATH=/opt/rbi/sge/lib/lx24-x86:${LD_LIBRARY_PATH}
export SGE_ROOT=/opt/rbi/sge

dann kann man mit

echo "command" | qsub
Sachen ausführen. Dabei auf die Pfade achten (s.o.)

Weka-Beispiel

zum nachmachen, die Dateien sind für alle lesbar (hoffentlich klaut keiner unsere Daten, was meint ihr, ist das gut?)
echo "/var/autofs/net/stryker/java/j2re1.4.2_08/bin/java -Xmx1824m \
-cp /var/autofs/net/stryker/weka-3-4-4/weka.jar  weka.classifiers.meta.CostSensitiveClassifier \
-m /var/autofs/net/stryker/dmc2005.cost -t /var/autofs/net/stryker/all.arff \
-C /var/autofs/net/stryker/dmc2005_class.cost -S 1 -W weka.classifiers.functions.MultilayerPerceptron \
-- -L 0.4 -M 0.3 -N 1000 -V 0 -S 0 -E 20 -H a" | qsub -cwd

Offline DMC Log & Layout: Arnd Ißler, http://arndissler.net/