Perspectivas y ideas sobre
computacion en grilla, sistemas
distribuidos, clustering
Como una oportunidad de
investigacion y desarrollo posible
Install Rocks & Rolls
http://david.arenas.frogs.googlepages.com/9107B932aANEXO.pdf
http://david.arenas.frogs.googlepages.com/9107B932aGUIA1.pdf
Un Completo manual con la info necesaria para la tarea.
http://dev.mysql.com/doc/refman/5.0/es/ndbcluster.html
Moshe Bar el fundador de openMosix y lider del proyecto a anunciado la terminación del proyecto sobre marzo del año entrante 2008.
El increíble bajo costo de los procesadores y la rápida salida de procesadores con múltiples sistemas de núcleo. Indican una disminución del clusterin. La dirección de la computación es clave de des arrolladores que se han movido hacia la virtualización y desarrollo de otros proyectos.
http://linuxpr.com/releases/9862.html
Según ComputerWorld, Sun liberará el código de clusters de Solaris bajo licencia CDDL a la comunidad Open Solaris. Se eliminó explícitamente la posibilidad de la GPLv2, aunque aún está en el tintero la GPLv3, según lo que suceda con OpenSolaris.
Carga los siguientes agentes de software
Intel boosts high-performance computing with new cables
Posted Jun 27th 2007 6:35PM by Donald Melanson
Filed under: Desktops, Networking
http://www.engadget.com/2007/06/27/intel-boosts-high-performance-computing-with-new-cables/
Firewall con Iptables
Bien esto es un Firewall casero usando iptables......
lo primero es crear el archivo .sh el cual sera nuestro firewall
En mi caso, y como soy bien original, le puse "firewall.sh"
gnome:
$ gedit firewall.sh
KDE:
$ kate firewall.sh
Pegamos lo siguiente dentro....
http://redavalon.blogspot.com/2007/06/firewall-con-iptables.html
http://idea.uab.es/mcreel/ParallelKnoppix/users_clusters/ParallelKnoppixClusters.html
http://idea.uab.es/mcreel/ParallelKnoppix/
http://www.createphpbb.com/parallelknoppix/viewtopic.php?t=147&mforum=parallelknoppix
Clusterknoppix
Parallelknoppix
Expo sobre Cluster Express en Linux
Rockstar Installation
1:30min ensamblando y configurando un cluster
Sun High performance Cluster Build
Sun Wins HPC Wire Awards
| | Ejercicios prácticos de Linux Guia de Comandos #3 David Andrés Buitrago Arenas Universidad Manuela Beltrán 26/04/2007 |
Los ejercicios propuestos referencia comandos vistos en clases pasadas y en el material adicional de la clase como la guía de comandos 2. No obstante, algunas de las tareas pedidas exigen conocer opciones no mencionadas dentro de la clase y la mayoría de los comandos no fueron vistos en su totalidad en prácticas pasadas.
Por eso para el desarrollo de esta guía oriéntece con las dos guías de comandos entregadas en clase.
Los resultados deberán ser generados en un historial de los comandos hechos en la practica. Siga los siguientes pasos:
Desde una interfaz de comando teclee man man y consulte la explicación sobre el programa man y el manual del sistema. En particular averigüe en esa página para que es el comando whatis.
Abra bash y teclee info. Déle un vistazo a la tabla de contenido de la documentación que tiene disponible. Algunos de estos documentos son libros completos. Entre a la documentación de emacs (un editor de texto) y revísela por encima. Opcional: presione la tecla h para aprender a usar mejor el programa info o la tecla ? para ver un resumen de las teclas que puede usar.
Estando en un intérprete de comandos teclee mv help. ¿Para qué sirve el comando mv?
Revise el directorio /usr/doc, liste algunos de los directorios y el tipo de información que allí encuentre.
Revise el directorio /usr/doc/HOWTO. Revise alguno de los documentos de ese directorio. ¿Qué documento revisó? ¿Qué información encontró?
Listar todos los archivos, incluidos los ocultos, del directorio raíz.
Listar todos los archivos del directorio etc que no empiecen por t.
Listar todos los archivos del directorio usr y sus subdirectorios.
Cambiarse al directorio tmp.
Verificar que el directorio actual ha cambiado.
Mostrar el día y la hora actual.
Con un solo comando posicionarse en el directorio $HOME.
Verificar que se está en él.
Listar todos los ficheros del directorio HOME mostrando su número de
inodo.
Borrar todos los archivos y directorios visibles de vuestro directorio
PRUEBA.
Crear los directorios dir1, dir2 y dir3 en el directorio PRUEBA. Dentro de
dir1 crear el directorio dir11. Dentro del directorio dir3 crear el directorio
dir31. Dentro del directorio dir31, crear los directorios dir311 y dir312.
Copiar el archivo /etc/motd a un archivo llamado mensaje de vuestro
directorio PRUEBA.
Copiar mensaje en dir1, dir2 y dir3.
Comprobar el ejercicio anterior mediante un solo comando.
Copiar los archivos del directorio rc.d que se encuentra en /etc al
directorio dir31.
Copiar en el directorio dir311 los archivos de /bin que tengan una a como
segunda letra y su nombre tenga cuatro letras.
Copiar el directorio de otro usuario y sus subdirectorios debajo de dir11
(incluido el propio directorio).
Mover el directorio dir31 y sus subdirectorios debajo de dir2.
Mostrar por pantalla los archivos ordinarios del directorio HOME y sus
subdirectorios.
Ocultar el archivo mensaje del directorio dir3.
Borrar los archivos y directorios de dir1, incluido el propio directorio.
Copiar al directorio dir312 los ficheros del directorio /dev que empiecen
por t, acaben en una letra que vaya de la a a la b y tengan cinco letras en
su nombre.
Borrar los archivos de dir312 que no acaben en b y tengan una q como
cuarta letra.
Mover el directorio dir312 debajo de dir3.
Crear un enlace simbólico al directorio dir1 dentro del directorio dir3
llamado enlacedir1.
Posicionarse en dir3 y, empleando el enlace creado en el ejercicio
anterior, crear el directorio nuevo1 dentro de dir1.
Utilizando el enlace creado copiar los archivos que empiecen por u del
directorio /bin en directorio nuevo1.
Crear dos enlaces duros del fichero fich1, llamarlo enlace, en los
directorios dir1 y dir2.
Borrar el archivo fich1 y copiar enlace en dir3.
Cluster Express con ClusterKnoppix (OpenMosix)
David Andrés Buitrago Arenas
Universidad Manuela Beltrán
Ingenieria de Sistemas
Resumen Se describen en este documento las instrucciones básicas para el despliegue de un cluster de computo usando la distribución ClusterKnoppix (http://bofh.be/clusterknoppix) que usa la extensión del kernel de Linux OpenMosix (http://openmosix.sourceforge.net/). OpenMosix permite crear un sistema operativo distribuído que balancea la carga de computo sobre las máquinas en un Cluster. Condiciones iniciales Requerimientos 2 computadores como minimo en red 2 CD con el clusterknoppix quemado correctamente (lectura alta para las unidades) La red a la que están conectados los equipos podría tener una de dos configuraciones posibles: Configuración 1: La red puede tener el servicio de asignación dinámica de IP (DHCP) en cuyo caso el proceso descrito más adelante se simplificará considerablemente. Configuración 2: Las IP de las máquinas del cluster deben asignarse estáticamente. En este caso para la configuración de red asumiremos los siguientes parámetros (válidos por ejemplo en las salas de computo de la USB1): IP Nodo X: 192.168.3.X Puerta de enlace predeterminada (Gateway): 192.168.3.129 Mascara de red (Netmask): 255.255.255.224 Arranque de ClusterKnoppix ClusterKnoppix es una distribución de Linux que corre directamente desde el CD y no requiere una instalación previa en el disco duro para ser utilizada. Para iniciar el sistema operativo desde el CD-ROM es necesario arrancar la máquina asegurándose que el sistema de arranque (BIOS) busque primero el sistema operativo en el CD-ROM antes de hacerlo en cualquier otro dispositivo. Si la máquina no esta configurada para arrancar de este modo, es necesario modificar los parámetros de la BIOS (consulte la documentación apropiada). Algunos aspectos básicos de la configuración final de ClusterKnoppix pueden ser definidos en el arranque por medio de opciones literales que se ingresan en el símbolo 'boot:'. Cuando se usa teclado en español es posible indicar por este mecanismo el conjunto de teclas que se usaran y asegurar así la configuración apropiada de este dispositivo. El comando para configurar ClusterKnoppix de modo que reconozca el teclado en español es: Comando 1: boot: knoppix lang=es NOTA: El teclado en el momento del arranque es reconocido como un teclado en inglés (alemán) de modo que es necesario encontrar la tecla que corresponde al símbolo '='. En la mayoría de los teclados en español la tecla que corresponde a este símbolo en el teclado en inglés es [¿¡]. 
Figura 1. Escritorio del sistema X Windows de Knoppix Configuración Básica de ClusterKnoppix Una vez iniciado ClusterKnoppix y si el reconocimiento de los dispositivos es exitoso el sistema operativo arranca directamente el sistema X Windows y el gestor de escritorio. En la figura 1 se identifican algunas de las componentes básicas del gestor de escritorio que usa por defecto ClusterKnoppix (KDE) que deben ser tenidas en cuenta para los propósitos de la configuración del Cluster. Configuración de la red El primer paso en el establecimiento del cluster es la configuración de red. Para el caso de la configuración 1 (DHCP) no es necesario hacer nada para tener la red preparada para iniciar los servicios de cluster. Es necesario sin embargo verificar que una IP haya sido asignada efectivamente (lo que de entrada garantiza la conexión de la máquina a la red) y que los demás nodos del cluster sean 'visibles' desde cada maquina (ver pasos 2 y 5 más abajo). 
Figura 2. Consola de root (root shell) En el caso de la configuración 2 debe procederse según los siguientes lineamientos para tener acceso a la red y hacer visible el nodo desde esa misma red: Abrir una consola de administrador (root shell) – ver icono en submenu del escritorio (figura 2). Las acciones que se describen a continuación asumen que se esta trabajando sobre una consola de administrador. Para abreviar usaremos el símbolo '#' para representar el símbolo del sistema. Naturalmente en los comandos este símbolo no debe escribirse explícitamente.
Asignación de una IP al nodo: Comando 2:# ifconfig eth0 192.168.3.X netmask 255.255.255.224 donde X es el número asignado por la red al nodo respectivo. Para verificar la correcta asignación de la IP a la máquina se puede ejecutar el comando: Comando 3:# ifconfig En el caso de asignación de IP dinámica este último paso es importante para verificar que la asignación fue realizada efectivamente.Configuración de la puerta de enlace: Comando 4:# route add -net 0.0.0.0 gw 192.168.3.129Verificación de la conectividad Comando 5:# ping -c 3 192.168.3.161 El parámetro '-c 3' es requerido para limitar el número de paquetes que es enviado a la máquina respectiva. El mismo comando debe repetirse con la IP de los demás nodos en el cluster. NOTA: La prueba de conectividad es conveniente hacerla también en el caso de asignación dinámica de IP. Inicio de los servicios de OpenMosix En el caso de la configuración 2 (no DHCP) es apropiado reiniciar manualmente los servicios de OpenMosix para computación en cluster. Para hacerlo se utiliza el script (equivalente a un archivo por lotes en windows) /etc/init.d/openmosix, así: Comando 7: # /etc/init.d/openmosix restart La salida típica de este comando es: openMosix: Using map file /etc/openmosix.map openMosix: WARN: Invalid configuration in map-file /etc/openmosix.map openMosix: Falling back to autodiscovery mode using /usr/sbin/omdiscd Initializing openMosix... Local processes already allowed to leave automatically. automatic load-balancing already enabled. Remote processes now allowed in. MFS access already enabled. Para detener los servicios: Comando 8: # /etc/init.d/openmosix stop La salida típica del comando es: openMosix: Using map file /etc/openmosix.map openMosix: WARN: Invalid configuration in map-file /etc/openmosix.map openMosix: Falling back to autodiscovery mode using /usr/sbin/omdiscd Stopping openMosix... openMosix: All remote processes were expelled and no further remote processes accepted. Si la configuración es la 1 (DHCP) los servicios de OpenMosix se inician automáticamente durante el arranque. Uno de los servicios más importantes de OpenMosix es el que permite descubrir recursos en el cluster automáticamente (autodiscovery). Si la configuración de red se realizo exitosamente y los servicios de OpenMosix funcionan apropiadamente no es necesario realizar ninguna configuración especial para que cada nodo en el cluster se 'percate' de la existencia de los demás. Verificación de los servicios de OpenMosix Una vez iniciado OpenMosix y si el proceso de auto detección es exitoso es posible comenzar a utilizar los recursos de los demás nodos para constituir el cluster. Para verificar el acceso a dichos servicios se puede proceder de la siguiente manera: Verificación de acceso a los sistemas de archivos (disco duro) de los nodos en el cluster. OpenMosix utiliza el directorio /mfs para montar remotamente los sistemas de archivos de otros nodos en el nodo actual. Para verificar que el sistema funciona se debe comprobar que el directorio este correctamente montado y que contenga los directorios correspondientes a los sistemas de archivos de los otros nodos: Comando 9: # ls /mfs 948 935 932 977 here home lastexec magic selected Cada uno de los directorios numerados corresponde al sistema de archivos de cada nodo. NOTA: El número que OpenMosix asigna a cada nodo obedece a la siguiente regla. Supongamos que la IP de la máquina es 192.168.3.134. Se toman los 2 últimos períodos de la IP de la máquina (3 y 134). Se determina su representación en hexadecimal (0x3 y 0x86). Se concatenan los dos números en hexadecimal (0x386) y se convierte el número resultante en decimal (902).Verificación de acceso a la CPU de los nodos en el cluster. Esto se puede conseguir utilizando el monitor de OpenMosix, openMosixView. Para lanzar el monitor se utiliza el comando: Comando 10: # openmosixview & 
Figura 3. openmosixview y openmosixmigmon (monitor de migración) Un pantallazo de esta ampliación se muestra en la figura 3. Si el proceso de descubrimiento de recursos funciono correctamente el monitor debe mostrar cada uno de los nodos configurados en el cluster. Los nodos que aparezcan allí podrán recibir tareas de computo con el sistema de balanceo de carga de openMosix. NOTA: En ocasiones el proceso de descubrimiento puede tomar unos minutos cuando se agregan dinámicamente nuevos nodos al cluster de modo que si en un principio no se detectan otros nodos es necesario esperar o reiniciar repetidamente el servicio de openmosix (ver comando 7) hasta detectar los nodos nuevos. Manipulación de sistemas de archivos en Knoppix Antes de continuar nuestra descripción de las pruebas sencillas que pueden realizarse usando ClusterKnoppix debemos detenernos un momento para entender el modo en el que pueden manipularse archivos y directorios en un sistema que corre Knoppix. Cuando Knoppix arranca crea un sistema de archivos sobre la memoria RAM que es el único sobre el que se pueden crear archivos y directorios. Una vez la máquina se apaga y dado que el sistema de archivos reposa sobre la memoria RAM toda la información almacenada allí desaparece. Por ello se hace indispensable disponer de acceso a medios de almacenamiento permanente (sistemas de archivos en disco duro, memorias flash – usb, floopies e incluso la red). Para acceder a medios de almacenamiento permanentes, como sucede en linux se debe montar el sistema de archivos del dispositivo sobre uno de los directorios de KNOPPIX. Los dispositivos que son detectados automaticamente por Knoppix tienen asignado automaticamente un directorio en /mnt que puede ser determinado usando el comando: Comando 11:# mount /dev/root on / type ext2 (rw) /dev/scd0 on /cdrom type iso9660 (ro) /dev/cloop on /KNOPPIX type iso9660 (ro) /ramdisk on /ramdisk type tmpfs (rw,size=1639232k) /proc/bus/usb on /proc/bus/usb type usbdevfs (rw,devmode=0666) automount(pid567) on /mnt/auto type autofs (rw,fd=4,pgrp=567,minproto=2,maxproto=4) /dev/sda1 on /mnt/sda1 type vfat (rw) mfs on /mfs type mfs (rw,dfsa=1) /dev/hda1 on /mnt/hda1 type ntfs (ro,nosuid,nodev,umask=000,uid=1000,gid=1000)En la salida mostrada arriba se pueden identificar los sistemas de archivos correspondientes al disco duro (/dev/hda1) y un sistema de archivos correspondiente a una memoria flash (/dev/sda1). Para montar cualquiera de estos sistemas de archivos se usa el comando: Comando 12: # mount /mnt/sda1
Con el que se montaría por ejemplo la memoria flash detectada por el sistema.
De no aparecer en la lista del comando 11 se puede (si se conoce) montar el dispositivo manualmente usando el comando
Comando 13: # mount /dev/sda1 /mnt/test Este comando permitiría montar el dispositivo de la memoria flash en el directorio /mnt/test.
Una vez montado el dispositivo es posible ejecutar los comandos propios de linux para manipular archivos y directorios. Por ejemplo si se desea copiar el archivo documento.doc de la memoria flash al sistema de archivos de knoppix se usará:
Comando 14: # cp -rf /mnt/sda1/documento.doc /home/knoppix Obviamente previamente la memoria flash debio haber sido montada en el directorio /mnt/sda1. Y viceversa si se quiere copiar el directorio 'Pruebas' del sistema de archivos de Knoppix a la memoria flash se usa:
Comando 15: # cp -rf /home/knoppix/Pruebas /mnt/sda1 Para desmontar un dispositivo de almacenamiento se usa el comando.
Comando 16: # umount /mnt/sda1 La operación de desmontado solo surtirá efecto si el directorio asociado al sistema de archivos no esta siendo utilizado (hay un usuario sobre uno de los directorios del sistema de archivos, existe un programa abierto usando un archivo en el sistema de archivos, etc.)
En los ejemplos presentados arribas se uso una memoria flash para almacenar permanentemente archivos y directorios que se usan en Knoppix. Las particiones del disco duro también podrían utilizarse en el caso que tuvieran un sistema de archivos distinto a NTFS. La versión de Knoppix asumida aquí (ClusterKnoppix v.3.6) no tiene incluídos los drivers para ESCRIBIR sobre este tipo de sistema de archivos aunque se los puede LEER.
Usando dispositivos de almacenamiento permanente es posible guardar la configuración específica del sistema para utilizarla en una ejecución posterior sin necesidad de repetir el proceso de configuración inicial. Para ello se debe ejecutar el comando:
Comando 17: # saveconfig Y seguir las instrucciones solicitadas por el aplicativo. Una vez guarda la configuración la próxima vez que se inicie Knoppix y se quiera utilizar la configuración guardada se entra en el símbolo de arranque la opción:
Comando 18: boot: knoppix myconfig=scan Tenga en cuenta (como se comento a propósito del comando 1) que el teclado esta configurado en inglés (alemán) de modo que cualquier símbolo especial que necesite utilizar en el prompt 'boot' (por ejemplo '=', '/') debe buscarlo a ciegas. Si se desea conservar además de los archivos de configuración, otros archivos entonces los archivos que se desean conservar deberán localizarse en el directorio /home/knoppix/Desktop.