Transcript Sistemas UNIX - Placeholder page

Programación
en Shell
Rodrigo Santamaría Vicente
Dpto. Informática y Automática
Contenidos
1.
2.
3.
4.
5.
Introducción a la shell
Programación básica en bash
Programación avanzada
sed y awk
Referencias
Introducción a
la Shell
1.¿Qué
es una shell?
2.Tipos
de shell
3.Usos
de la shell
4.Variables
de entorno
¿Qué es una shell?
Interfaz entre el Sistema Operativo y el
usuario
Dos tipos
Gráfica
Línea de Comandos
CLI (Command Line Interface)
intérprete de comandos, terminal, consola
shell (ʃɛl/) – noun 1.a hard outer covering of an animal, as the hard case of a
mollusk, or either half of the case of a bivalve mollusk.
Shell Gráfica
Shell de Línea de Comandos
Generalmente
con shell nos
referimos a una
CLI de Unix
Gráfica vs Texto
Gráfica
Sencilla
Fácil uso
Línea de Comandos
Ciertas operaciones son
más rápidas
Usuario base
Usuario experto
Procesamiento de imagen,
video, etc.
Transferencia o
procesamiento de datos
Tipos de shell
• Bourne shell (sh)
–1977. Stephen Bourne, Bell Labs.
• C Shell (csh)
–1980. Bill Joy, Berkeley
• Korn Shell (ksh)
–1980. David Korn, Bell Labs.
• Bourne again shell (bash)
–1987. Brian Fox, GNU Project
Bourne Shell (sh)
• La más antigua
• No tiene características interactivas
–Historia de comandos
–Autocompletar nombres de ficheros
–…
• No tiene estructuras complejas de
programación
–Funciones
–Case
–…
C Shell (csh)
• Sintaxis como el lenguaje C
–No compatible con la familia Bourne
• Capacidades interactivas
–Pausar/reiniciar procesos
–Historia de comandos
–Operaciones matemáticas
Korn Shell (ksh)
• Sustituye y es compatible con Bourne
• Características interactivas como C, pero
mejoradas
–Añade edición de líneas de la historia
–Ejecución más rápida
Distribuciones
bash
csh
ksh
linux
freebsd
solaris
mac os X
AIX, HP-UX,
BSD
POSIX shell
• Similar a ksh y utilizada por HP-UX
• 95% compatible con Bourne shell
• Como ksh, integra características de la csh,
mejoradas (histórico de comandos,
autocompleción, operaciones aritméticas…)
• Las diferencias con bourne shell son menores
• Las diferencias entre POSIX y ksh son mínimas:
–http://docs.hp.com/en/B2355-90046/ch15s03.html
Multiplicidad de las shells
• Ante el mismo sistema operativo, podemos tener
varias shells activas al mismo tiempo
–Gráficas y de texto (Linux)
–De texto en distintos terminales
•$$ indica el PID de la shell en ejecución
•ps para ver los PID de todos los procesos en
ejecución
•$SHELL nos indica el tipo de shell que estamos
usando
•/etc/shells es un fichero con todas los tipos
de shell disponibles en el sistema
Usos de la sh
• Intérprete de comandos: ejecutar comandos
desde el intérprete
• Scripts: ejecutar secuencias de comandos desde
un fichero
• Programas: control del flujo de ejecución de
secuencias de comandos (bucles, condiciones,
variables, etc.) desde un fichero
Intérprete de comandos
• Sintaxis típica
–comando [-]opciones parámetros
• Opciones: dependen de cada comando y alteran
su funcionamiento
• Parámetros: variables de entrada que necesita el
comando, separadas por espacios
– ps –fu
– ls file.txt
– grep “*.txt” ../folder
Procesamiento secuencial
• El sistema completa cada comando antes
de ejecutar el siguiente:
date
ps –fu
who
Procesamiento secuencial
• date; “ps –fu”; who
Procesamiento no Secuencial
• Cada programa se ejecuta sin esperar a que el anterior
termine
date & “ps -fu” & who
date
ps
who
ps
date
who
Redirección de E/S
• > Escribe la salida estándar a fichero
• < Lee la entrada estándar de fichero
• >> Añade la salida estándar a un fichero
existente
• > y >> crean el fichero si no existe
• < da error si el fichero no existe
Tuberías (pipes)
• Conectan la salida de un programa a la entrada del
siguiente
– ls | more
 ls > temp; more < temp
Shell script
•
•
•
Simplemente, poner en un fichero órdenes
que se puedan ejecutar en el intérprete de
comandos
Para editar el fichero, se puede usar
cualquier editor (típicamente vi)
Ejemplo: editar un fichero con la línea:
•
•
date; who; ps uf; du /home
Ejecutar con:
•
sh nombreScript
Trucos
• Si se usa vi, lo ideal es tener dos consolas
abiertas, una para edición y otra para ejecución
• Para poder ejecutar un fichero como script,
debemos tener permisos de ejecución
•chmod +x nombreFichero
• Otros modos de ejecución:
–./nombreScript
–nombreScript si se encuentra en el PATH
Fichero .profile
• Script(s) que se ejecuta automáticamente al
hacer login
• Se encuentran en el directorio raíz del
usuario
• Establece el “entorno” de trabajo
sh
bash
ksh
csh
.profile
.bash_profile
.bash_login
.profile
.bashrc
.profile
.kshrc
.profile
.cshrc
Variables de entorno
PATH
HOME
LOGNAME
Directorios para la búsqueda de
parámetros, separados por (:)
Directorio raíz de nuestra cuenta
PWD
Nombre de cuenta con el que hemos
accedido al sistema
Directorio de trabajo actual
OSTYPE
Tipo de Sistema Operativo
PS1
Configuración del prompt de consola
SHELL
Shell que estamos usando
Variables de entorno
•
•
•
•
•
Para acceder al valor
$VAR
Para imprimir el valor
echo $VAR
Para cambiar el valor
VAR=valor
Los cambios a las variables de entorno
no se mantienen para otras shells a no
ser que se incluyan en el .profile o se
utilice export
Ejercicio
– Establecer en el PATH la ruta de la carpeta
donde almacenaremos los scripts
Programación
básica en Bourne Shell
1.
Introducción
2.
Variables
3.
Parámetros
4.
E/S
5.
Condiciones
6.
Bucles
7.
Funciones
8.
Operaciones aritméticas
9.
Depuración
Programación Shell
• Scripts donde introducimos conceptos
propios de la programación
–Variables
–Parámetros
–Condiciones
–Bucles
–Funciones
–Operaciones aritméticas
• Los comandos disponibles de la shell
actúan como nuestra biblioteca de
funciones
Por qué programar en shell?
•
•
Requiere un cierto esfuerzo programar en
shell, así que antes debemos plantearnos si
nos va a ser útil
Razones para programar en shell
1. Porque nos lo mandan (como es el caso)
2. Porque sabemos programar: el esfuerzo necesario
para aprender es muchísimo menor
3. Porque en nuestro trabajo nos va a ser útil:
– Administradores: tareas complejas o automatizables
– Hackers: tareas rápidas
– Programadores usuarios: tareas que se repiten
Cuándo programar en shell?
• Llamadas frecuentes a funciones del sistema
• Llamadas repetitivas a una función del sistema
• Programas cortos
–Si un programa pasa de una página, probablemente
la shell no sea la mejor solución
• Cuanto mejor conozcamos la shell y sus
comandos, más la usaremos y mayor útil será la
programación en shell
Variables
• Además de las variables de entorno podemos
declarar variables locales al script
• No tienen tipo, no hay que declararlas o
inicializarlas previamente
• Asignación:
• Acceder al valor:
variable=valor
$variable
Variables (II)
• Para diferenciar el valor de variables en cadenas,
usamos { }:
–dir2=/home/rodrigo/curso
–cat ${dir2}/lista.txt
• Normalmente, se abre una shell para ejecutar el
script
– si queremos que se ejecute en la shell en que
estamos, y así luego tener disponibles las variables,
usamos (.): . programa
Parámetros
• Un script puede tener parámetros de entrada
igual que cualquier comando
–script par1 par2 par3 …
• Para acceder a sus valores usamos
– $1, $2, $3, … $9
•$0 es el nombre del comando
•$*, $@ devuelven todos los parámetros
separados por espacios
Parámetros (II)
• Número de parámetros: $#
• Si tenemos más de 9 parámetros, tenemos que usar
desplazamientos: shift [n]
– Donde n es el número de pasos que desplazamos
– Si no se especifica n, se comporta como shift 1
Gestión E/S: echo
• Salida por consola:
echo cadena
Caracteres
especiales
descripción
-n
Evita el salto de línea
(útil si se espera un parámetro de entrada)
\
Elimina el significado especial del siguiente carácter
“ ”
Todo lo que está entre comillas pierde su significado
especial salvo $ y \
‘’
Lo que encierra se toma literalmente
` `
Todo lo que está entre acentos graves se trata como
un comando
echo: secuencias de escape
secuencias
de escape
-e
\a
\b
\c
descripción
activa la interpretación de secuencias de escape
alerta (beep)
elimina el carácter anterior (backspace)
suprime el salto de línea (como –n)
\n
\r
salto de línea
retorno de carro
\t
tabulador horizontal
\\
barra hacia atrás (\)
echo: códigos de escape
• Se introducen con la secuencia de escape \033
• Cada código tiene la sintaxis: [parametroAcción
– parámetro es un número
– acción es una letra
• Ejemplo:
• echo –e “\033[34m Hola”
echo: códigos (ii)
acciones
m
descripción y parámetros
modifica el estilo de la fuente
0 – modo por defecto (letras negras, fondo blanco)
1 – negrita
5 – parpadeo
7 – intercambia el color de fondo y el de las letras
11 – acepta caracteres ASCII extendidos (asciitable.com)
25 – deshabilita el parpadeo
27 – deshabilita el intercambio de colores
30-37 – establece el color de las letras (31 rojo, etc.)
40-47 – establece el color de fondo
echo: codigos (iii)
acciones
descripción
q
gestiona los bloqueos del teclado
0 – apaga todos los bloqueos del teclado
1 – encience el bloqueo de scroll, apaga el resto
2 – enciende el bloqueo de números, apaga el resto
3 – enciende el bloqueo de mayúsculas, apaga el resto
7s
Almacena la posición del cursor y sus atributos
8u
Recupera la posición del cursor y sus atributos
ojo: 7s y 8u no funcionan en todos los terminales, es más
recomentable usar tput sc y tput rc
H,f
Establece la posición del cursor
x;y – posición para el cursor
echo: ejemplos
Gestion E/S: read
• Entrada de consola:
read var
• En ksh también se puede hacer así:
•read fich?“Introduce nombre de fichero: ”
Gestión E/S: exit
• Salida del script:
•0
•1
•2
exit código_fin
terminado con éxito
error interno
error por sintaxis de llamada
•$? Devuelve el código de salida del último
comando ejecutado
Expresiones regulares
• Manejar con soltura las expresiones regulares es
fundamental para programar en shell y manejar
comandos como grep, sed o awk.
Símbolo
*
.
.*
[ … ]
Descripción
La expr. reg. anterior aparece 0+ veces
Cualquier carácter (1 ocurrencia)
Cualquier cadena de caracteres
Cualquier carácter de los especificados entre
corchetes, o un rango si separados por ‘-’
[a-z] [0-9] [a-z,A-Z] [Tt]
Expresiones regulares (II)
• Más expresiones regulares
Símbolo
$
^
^$
[^…]
\(…\)
\
Descripción
La línea acaba con la expr. reg anterior
La línea empieza con la expr. reg. siguiente
Líneas en blanco
Líneas sin los caracteres entre corchetes
Marca expr. regulares, para luego repetirlas con
\n, donde n es la n-ésima expr. marcada
Interpretar literalmente el símbolo especial
siguiente
Expresiones regulares (III)
• Extensión POSIX
Símbolo
Descripción
?
La expr. reg. anterior aparece 0 ó 1 vez
[hc]?at  at, hat, cat
+
La expr. reg. anterior aparece 1+ veces
[hc]+at  hat, cat, hhat, chat,
__________hcat, ccchat
|
Aparece la expr. anterior o la posterior
cat|dog  cat, dog
Condiciones
• if lista_condiciones1
• then lista_comandos1
• elif
lista_condiciones2
• then lista_comandos2
•…
• else lista_comandosN
• fi
Test
• Para chequear condiciones se usan [ ] en
la sintaxis del if (equivalente al comando
test)
-eq, =
Igual a
-lt
Menor que
-gt
Mayor que
-le
Menor o igual que
-ge
Mayor o igual que
Test
Ficheros
-f fich Verdadero si fich existe y es un fichero
-r fich Verdadero si fich existe y se puede leer
-w fich Verdadero si fich existe y se puede escribir
-x fich Verdadero si fich existe y se puede ejecutar
-d fich Verdadero si fich existe y es un directorio
-s fich Verdadero si fich existe y tiene tamaño mayor
que cero
Test
Cadenas
-n cad
Verdadero si cad no es una cadena nula
-z cad
Verdadero si cad sí es una cadena nula
cad1==cad2 Verdadero si las cadenas son iguales
cad1!=cad2 Verdadero si las cadenas son distintas
cad
Verdadero si cad existe y no tiene valor nulo
Test
Operadores booleanos
-a
AND
-o
OR
• Observaciones
– Incluir siempre un espacio despues de [ y antes de ]
– test solo vale para enteros, los reales son truncados al
entero más próximo
Case
• Expansión de if (similar al switch de C
o java)
•case param in
•patron1 [ | patron2…] )
lista_comandos1 ;;
•patron2 [ | patron3…] )
lista_comandos2 ;;
•…
•esac
Case
Ejercicio
•
Hacer un script similar a mv, move, con
la siguiente sintaxis
»
•
1.
2.
3.
4.
move filename
Deberá:
Chequear si hay argumento y salirse si no,
mostrando la sintaxis correcta
Chequear que el argumento es un fichero
Preguntar si se quiere mover el fichero a otro
directorio o cambiarle el nombre
Proceder en cada caso, pidiendo el nombre
nuevo para el fichero o el directorio al que se va
a mover y realizar la operación (mv)
Ejercicios
1. Modificar move para que el paso 3 se haga mediante
case
2. Hacer un programa showLines que muestre num
líneas de un fichero empezando en start
–
showLines start num file
3. Hacer un programa sayHello que diga “Buenos
dias”, “Buenas tardes” o “Buenas noches”, seguido
del nombre del usuario, según la hora que sea. El
programa debe ejecutarse automáticamente al abrir
un terminal
Bucles
• For
•for parametro [ in lista]
•do lista_comandos
•done
•parametro toma los valores de la lista y
para cada uno de ellos se ejecuta
lista_comandos
• Si se omite la lista, parametro contiene los
parámetros de entrada al script ($1 $2 …)
for (ii)
for (iii)
• Sintaxis como en C:
– for (( expr1; expr2; expr3 ))
– do
–…
– done
• Ejemplo:
– for (( i = 0 ; i <= 5;
do
echo “Hola $i veces"
done
–
i++
))
While
• Ejecutamos lista_comandos2 mientras la
siguiente entrada de lista_comandos1
tenga éxito (código de salida 0):
•while lista_comandos1
•do lista_comandos2
•done
Until
• Como while, pero se ejecuta hasta que
la condición sea verdadera, en vez de
mientras la condición no sea falsa
•until lista_comandos1
•do lista_comandos2
•done
Ejemplos while - until
Detalles
•echo ^G produce un “beep”
•break rompe un bucle for o while
•# a comienzo de línea para añadir un comentario
•$$ devuelve el identificador único de la shell
Ejercicios
1. Hacer un script gp (groupcopy), que
copie todos los ficheros del directorio
actual al directorio especificado, con la
siguiente sintaxis:
–
gp [-q] [-d]
directorioDestino
»
»
-q para confirmar la copia de cada fichero
-d para incluir ficheros en los
subdirectorios
Ejercicios
2. Realizar un script digitalClock que muestre
la hora cada segundo (función sleep),
siempre en la misma posición (fila 0 y columna
69)
Funciones
•nombreFuncion() {listaComandos;}
–Valor de retorno:
–Llamada:
return n
nombreFuncion parametros
•parametros es una lista separada por espacios
• OJO: Los parámetros posicionales ($1, $2, …) se convierten en los
parámetros de la función que se llama, perdiéndose los valores
originales.
• OJO: Una funcion debe declararse al principio del fichero, o al menos
antes de su primera llamada
Funciones (II)
No hay que declarar
parámetros
Toma los parámetros como si
fuera el script principal
Los valores que
se devuelven son
numéricos y
siguen el mismo
código de retorno
No olvidar el ;
Alcance y Biblioteca de funciones
• Cualquier variable declarada en un punto o función del
programa es acessible en cualquier otro punto o
función
– No hay definición de alcance más que para los parámetros
posicionales $1, $2, …
• Las funciones de un script puede utilizarse en otros
scripts utilizando el comando
• . ./script.sh
• La función se invoca como si estuviera en nuestro
script
expr
•expr expresion1 operador expresion2
•expr se puede sustituir por (( … ))
• Realiza operaciones aritméticas
operador
acción
+, Suma, resta
\*,/,%
Multiplicación, división, resto
=,!=,\>,\>=, Comparación de enteros
\<,\<=
expr
• Y operaciones con cadenas
expresión
expr c1 : c2
expr length c1
expr index c1 c
expr substr c1
start length
acción
Nº de caracteres en que coinciden c1 y
c2 (pueden ser expresiones regulares)
Nº de caracteres de c1
Posición de la primera ocurrencia del
carácter c en c1
Subcadena de c1 que empieza en la
posición start y de longitud length
Ejercicios
• Hacer un script fact que devuelva el factorial de
un número que se pasa como argumento
–Sintaxis: fact num
ejercicios
• Programar una función box con la siguiente sintaxis
– box(x,y,alto,ancho)
• Debe dibujar un cuadrado en pantalla como en el
siguiente ejemplo: box(20,5,7,40)
wait y sleep
•wait [n]
–Espera hasta que el proceso con id n acabe
–Si no es especifica id, espera a que todos los
procesos hijos en background terminen
–“!” da el id del último proceso lanzado en segundo
plano  wait $! para esperar por él
•sleep n
–El script se queda bloqueado sin hacer nada durante
n segundos
Depuración
•sh –v script
• Escribe cada linea de código que ejecuta:
–tot=`expr $1 + $2`
–echo $tot
$ sh -v suma.sh 4 5
tot=`expr $1 + $2`
expr $1 + $2
echo $tot
9
Depuración de scripts
•sh –x script
• Sustituye cada $var por su valor
• Muestra cada línea de código que se va
ejecutando
–Precedida de +, o de ++ si es un subcomando de la
línea
–tot=`expr $1 + $2`
–echo $tot
$ sh -x suma.sh 4 5
++ expr 4 + 5
+ tot=9
+ echo 9
9
Programación
avanzada en bash
1. Variables locales y globales
4.
2.
Señales
3.
getopts
Utilidades esenciales
Variables globales y locales
• Las variables declaradas en un programa son
locales, y por tanto no estarán disponibles en
otras shells
• Para hacer global:
export var
$ vech=Bus
$ echo $vech
Bus
$ /bin/bash
$ echo $vech
$ vech=Car
$ echo $vech
Car
$ exit
$ echo $vech
Bus
$ vech=Bus
$ echo $vech
Bus
$ export vech
$ /bin/bash
$ echo $vech
Bus
$ exit
$ echo $vech
Bus
Ejecución condicional
•comando1 && comando2
–Ejecuta comando2 sólo si comando1 se ejecutó con
éxito
•comando1 || comando2
–Ejecuta comando2 sólo si comando1 se ejecutó sin
éxito
•listaComandos1 ; listaComandos2
–Se ejecuta primero listaComandos1, luego
listaComandos2
– test –d /tools && cd /tools; test –z “$fn” || sort
–o $fn $fn &
Señales
• Un programa puede terminar de manera forzosa
debido a un error en el SO o a la interrupción por
parte del usuario
• Para avisar de ello, se utilizan señales
• Si, por ejemplo, un programa modifica ficheros
delicados o crea ficheros temporales, etc. debe
manejar la gestión de señales para evitar dejar
ficheros incompletos o innecesarios
Trap
• trap {comandos} {lista de ids. de señal}
• Ejecuta la lista de comandos cuando se produce
alguna de las señales especificadas
• Una vez incluida, se mantiene a la escucha para
el resto del programa
• Es bueno tratar estas señales en una función,
que será la que se incluya en trap como
comando
ids. de señal
nº de señal
0
1
2
3
9
15
ocurre cuando
salida de la shell
hangup (colgar)
interrupt (ctrl+C)
quit
kill (no se puede coger con trap)
terminate (kill que se puede coger con trap)
Existen muchas más señales (segmentation fault, bus error, power
fail, etc) , pero generalmente, estas son las que se busca controlar
Señales: ejercicio
•
Hacer un programa ages que
1. Acepte un único parámetro, el nombre de un
fichero
2. Indefinidamente:
1.
2.
3.
4.
Pregunte por un nombre y luego por una edad
Añada el nombre y la edad a un fichero temporal temp
Pregunte si se quieren añadir más ficheros
Si no se van a añadir más ficheros, vuelca temp al
fichero que se pasó como parámetro
3. Ejecutar el programa, meter un par de nombres y
luego pulsar CTRL+C
Señales: ejercicio (II)
• ¿Qué ocurre? temp no se ha borrado y no se ha
generado el fichero final
• Hacer tratamiento de la señal generada por
CTRL+C para que temp se borre en ese caso.
señales: ejercicios (iii)
• Modificar el programa fantasticCar para que
gestione correctamente su terminación
–Deberá escuchar por la señal de terminación y
termine el programa dejando todos los leds como
estuvieran y despidiéndose con “Buenos días,
Michael”
getopts
•getopts optstring var1
• Recoge las opciones que se le hayan pasado al
script y que coincidan con la sintaxis en
optstring, almacenándolos en var1
• Si un parámetro en optstring va seguido de :
quiere decir que requiere de un argumento
• Ejemplos para optstring:
–n:asgr:t
–-n argn –a –s –g –r argr –t
–-n argn –r argr -asgt
getopts (II)
• Si una opción requiere de argumento, se
almacena en $OPTARG
•$OPTIND es el índice del siguiente parámetro
• Ejemplo: usage: civilState –n name –a age -s
•
while getopts n:a:s opt
do
case "$opt" in
n) na="$OPTARG";;
a) age="$OPTARG";;
s) single=“y” ;;
esac
done
getopts: ejercicios
1. Modificar el programa move para que los
parámetros sean recogidos mediante getopts
– usage: move [–f file | -d dir] filename
2. Escribir un script utilities que, mediante
getopts, comprenda la sintaxis
– usage: utilities –c –d –e editor
– -c limpia la pantalla
– -d muestra la lista de ficheros en el directorio
actual
– -e inicia el editor que se pase como parámetro (p.
ej, vi), comprobando si existe antes
Utilidades esenciales
• Linux provee una serie de utilidades esenciales
para agilizar el trabajo:
–Ficheros de datos
–Información del sistema
–Administración del sistema
Ficheros
• Vamos a trabajar sobre dos ficheros sencillos
sname
smark
(nombres)
(patrimonio en mill.)
Sr.No
Name
11 Vivek
12 Renuka
13 Prakash
14 Ashish
15 Rani
Sr.No
Mark
11 67
12 55
13 96
14 36
15 67
cut
Extracción de columnas o campos: cut
– cut [opciones] [fichero ...]
Opciones
-c lista
Trata cada carácter como una columna
-f lista
Campos delimitados por tabuladores
-d SEP Utiliza el carácter SEP como separador en vez del
tabulador
lista es una secuencia de números para indicar qué
campos o columnas se quieren cortar:
A-B Campos o columnas A hasta B inclusive
A- Campo o columna A hasta el final de la línea
A,B Campos o columnas A y B
paste
• Pegar líneas de ficheros por columnas
• paste file1 file2
• Como separador, añade un tabulador
$ paste sname smark
11 Vivek
11 67
12 Renuka 12 55
13 Prakash 13 96
14 Ashish 14 36
15 Rani
15 67
• Ejercicio: Generar un fichero con códigos, patrimonio
y nombres, pero sin repetir el código de persona
cut –f2 smark > temp; paste sname temp; rm temp
join
• Pega líneas de dos ficheros, por columnas, sólo si
tienen campo de la primera columna con el mismo
valor
– join file1 file2
$join sname smark
11 Vivek67
12 Renuka 55
13 Prakash 96
14 Ashish 36
15 Rani
67
• Si uno de los campos no existe en alguno de los
ficheros, no lo añade
tr
• Cambiar un rango de caracteres a otro distinto
–tr pattern1 pattern2
$ tr "h2" "3x" < sname
11 Vivek
1x Renuka
13 Prakas3
14 As3is3
15 Rani
$ tr "[a-z]" "[A-Z]"
hola
HOLA
…
tr (ii)
• Opciones
opciones
descripción
-s
-c
-d
elimina espacios en las secuencias encontradas
añade pattern2 a pattern1 en vez de sustituirlo
elimina pattern1 (no se necesita pattern2)
uniq
•
Elimina líneas duplicadas adyacentes
– uniq file
• -c indica el número de veces que aparece duplicada
•
•
Su salida es el mismo fichero sin líneas
duplicadas adyacentes
Si queremos eliminar todas las líneas
duplicadas
– sort file | uniq
Ejercicios con ficheros
•
Hacer un script listWords que recoja todas
las palabras de file1 y las ordene en una
lista de palabras (sin repetir), según la cantidad
de veces que aparecen (que debe aparecer en
la lista), que se guardará en file2
– listWords file1 file2
•
Modificar el script para que acepte la opción –
v, en cuyo caso la ordenación se llevará a cabo
según palabras que rimen
– truco: usar rev
ejercicios
• Un digrama es un conjunto de dos palabras.
Realizar un script que liste, en orden, el número
de ocurrencias de cada digrama en un fichero
que se pase como parámetro
•listDigrams file1 file2
awk y sed
a) sed
b) awk
1.
substituciones
1.
patrones
2.
delimitadores
2.
acciones
3.
marcadores
3.
variables
4.
ocurrencias
4.
scripting
5.
scripting
5.
nawk
6.
restricciones
sed
• stream editor: edición de textos en script
–sed –e ‘expr1’ [–e ‘expr2’ …] filename
•sed suele estar muy mal documentado:
–http://www.grymoire.com/Unix/Sed.html#uh-0
• Si sólo se usa una expresión, se puede quitar el
–e: sed ‘expr1’ filename
• Si no se pone filename, se usa la entrada
estándar
sed - substitución
•sed ‘s/word1/word2/’ filein>fileout
• Substituye word1 por word2 en filein y lo
escribe en fileout
• Si no se especifica fileout, lo escribe en
consola
• Ejemplo: sed ‘s/gold/stone/’ coins.txt>
• La substitución es la operación más común para
la que se usa sed
•word1 y word2 pueden ser expresiones
regulares
sed - delimitadores
• El delimitador (/) puede cambiarse por cualquier
otro carácter que no aparezca en las palabras
• Ejemplo: sustituir rutas de fichero
– sed 's|/usr/local/bin|/common/bin|' old >new
– sed 's:/usr/local/bin:/common/bin:' old >new
– sed 's_/usr/local/bin_/common/bin_' old >new
&
• & indica la cadena correspondiente al patrón
buscado
• Útil cuando no sabemos exactamente qué
estamos buscando (expresiones regulares):
–Poner paréntesis a cualquier palabra en minúscula
sed 's/[a-z]*/(&)/' old >new
–Duplicar el primer número de cada línea
– echo "123 abc" | sed 's/[0-9]*/& &/'
– echo "abc 123" | sed 's/[0-9]*/& &/‘  ?
– echo "abc 123 456" | sed 's/[0-9]*/& &/‘  ?
substitución global
•sed sólo modifica la primera ocurrencia de la
expresión buscada en cada línea
• para modificar todas las ocurrencias
–‘s/pattern1/pattern2/g’
• echo "abc 123 456" | sed 's/[0-9][0-9]*/& &/g‘
flags (marcadores)
• Podemos marcar los patrones con \(…\)
• Un patrón marcado se puede repetir con \1, \2… según
el orden en que se hayan marcado (hasta \9)
• Quedarnos con la primera palabra de cada línea:
– sed 's|\([a-z]*\)*|\1|'
• Cambiar el orden de la primera y la segunda palabra
– sed 's|\([a-z]*\) \([a-z]*\)|\2\1|'
• Eliminar palabras duplicadas
– sed 's|\([a-z]*\) \1|\1|'
• probar con echo “perro perro gato”
• y con echo “casa perro gato”?
ocurrencias
• /n especifica a qué ocurrencia del patrón nos
referimos
• Eliminar la segunda palabra de cada línea
• echo "casa perro gato " | sed 's/[a-z][a-z]* //2'
• Comparar con
• echo "casa perro gato " | sed 's/[a-z][a-z]* //'
• echo "casa perro gato " | sed 's/[a-z][a-z]* //g'
•/n se puede combinar con g:
• echo "casa perro gato " | sed 's/[a-z][a-z]* //2g'
escribir a fichero
•sed ‘s/word1/word2/w file’ filein
• No tiene mucho sentido si solo tenemos una
expresión (es equivalente a >file)
• Es muy útil si tenemos varias expresiones y
queremos que la acción de cada una vaya a un
fichero diferente
• En caso de que se usen varias opciones tras el
último /, w debe ser la última.
sed scripting
• Cuando tenemos muchas expresiones sed, es
cómodo hacer un sedscript:
•#Este script cambia vocales minúsculas
a mayúsculas
•s/a/A/g
•s/e/E/g
•s/i/I/g
•s/o/O/g
•s/u/U/g
• Para llamarlo: sed –f script filein>fileout
sed en shell script
• Dentro de un shell script, podemos usar
igualmente sed. Podemos utilizar varias líneas
usando “\”
•sed -e 's/a/A/g‘ \
-e 's/e/E/g' \
-e 's/i/I/g' \
-e 's/o/O/g' \
-e 's/u/U/g' filein >fileout
paso de argumentos
a sed en shell script
• Deberemos jugar con las comillas para que no
tome el argumento como una expresión regular:
•sed -n 's/'$1'/&/g'
• Para evitar problemas de sintaxis en el caso de
que el parámetro contenga espacios:
•sed -n 's/‘“$1”'/&/g'
restricciones
• Restringir a una línea
• sed ‘n s/searh/replace/options’
filein>fileout
• Restringir a un rango de líneas
• sed ‘n,m s/searh/replace/options’ filein>fileout
• La última línea del fichero se identifica con $
• Restricción con patrones: la búsqueda va de la
primera línea en la que se encuentre p1 hasta la
primera en que se encuentre p2
• sed ‘/p1/,/p2/ s/searh/replace/options’ fin>fout
otras opciones
• sed tiene multitud de opciones adicionales
–manejo de E/S
–condiciones (if, else)
–control de flujo (for, while)
–etc.
• Sin embargo, para soluciones más complejas
que búsquedas y sustituciones simples, awk es
más potente y más fácil de utilizar
otras acciones
acciones
significado
q
quit (terminar la ejecución)
p
print (imprime por pantalla la salida de sed)
w
write (escribe a fichero la salida de sed)
Ejercicios
1. Sustituir todas las vocales minúsculas de un
fichero por vocales mayúsculas
2. Realizar el mismo ejercicio, pero mediante un
sedscript llamado vowels
3. Realizar el mismo ejercicio, pero en una
shellscript
4. Modificar 3 para que se acepten los nombres
de ficheros de entrada y salida como
argumentos
ejercicios (ii)
5. Queremos cambiar todos los ficheros con
extensión *.txt a *.tex. Hacer mv *.txt
*.tex no funciona ¿Por qué? Hacer un script
basename que realice esta función
awk
• Se puede ver como
– Utilidad para realizar procesamiento sencillo de texto
– Lenguaje de programación para procesamiento
complejo de texto
• Basado en C
• Utilizado para
– Generación de informes
– Manejo de Bases de Datos pequeñas
– Traducir formatos de fichero
– Realizar operaciones matemáticas en ficheros
numéricos
awk (ii)
• AWK  Aho, Weinberg & Kernigan
–Kernigan es autor, junto con Ritchie, de C
• AWK es un lenguaje interpretado
–Relativamente lento
–Fácil de apreder
• AWK cuando no haya una solución más sencilla:
–grep para buscar texto
–head/tail para quedarnos con partes de texto
–cat, paste, join para unir ficheros
–sed para hacer búsquedas/reemplazos
–tr, unique, sort para transformaciones básicas
Fichero de ejemplo: coins.txt
metal weight_in_ounces
date_minted
gold
1
1986 USA
American Eagle
gold
1
1908 Austria-Hungary
Franz Josef 100 Korona
silver 10
1981 USA
ingot
gold
1
1984 Switzerland
ingot
gold
1
1979 RSA
Krugerrand
gold
0.5 1981 RSA
Krugerrand
gold
0.1 1986 PRC
Panda
silver 1
gold
…
1986 USA
0.25 1986 USA
country_of_origin
Liberty dollar
Liberty 5-dollar piece
description
sintaxis
• Aplicar a un fichero un patrón awk
• awk [-F<del>]‘/search_pattern/ {awk_actions}’ filename
– Aplica awk_actions a todas las líneas de filename que cumplan con
search_pattern
– -F<del> especifica el carácter a utilizar como delimitador de
columnas. Por defecto, se toman espacios y tabuladores
• Aplicar a un fichero un programa awk
•awk –f awk_program filename
• Básicamente ambas opciones son lo mismo, la
segunda se usa cuando el patrón awk se hace
muy largo o lo tenemos en un fichero
patrones de búsqueda
• awk busca en el fichero de entrada todas las líneas
que contengan el patrón de búsqueda
• Patrones de búsqueda
– /seq/
busca líneas que contengan seq
•var ~ /seq/ busca variables (ver +abajo) que contengan seq
– BEGIN
– END
busca la primera línea
busca la última línea
• Si no se especifica patrón de entrada, devuelve todas
las líneas del fichero
• Las secuencias de búsqueda pueden llevar
metacaracteres
metacaracteres
meta
caracter
.
*
^
$
\
[ ]
{ }
+
?
|
significado
Cualquier carácter (uno)
El carácter anterior aparece 0+ veces
Coincide con el comienzo de línea
Coincide con el final de línea
El carácter siguiente no es metacaracter
Coincide con alguna de los caracteres entre []
Coincide con la expresión exacta entre {}
El carácter anterior aparece 1+ veces
El carácter anterior aparece 0 ó 1 vez
Coincide con el patrón a su izquierda o derecha
ejemplos de búsqueda
patrón
/The/
resultado
“The”
/^The/
“The Bourne Ultimatum”, “The”, “Thelema"
/The$/
“Bourne Ultimatum, The”, “The”, “Pathe”
/\$/
“$”
/[Tt]he/
“The” “the”
/[a-z]/
“plane” “house” “bourne”
/[a-zA-Z0-9]/ “bourne” “Bourne” “oceanic815”
^[^a-z]
“Bourne” “815oceanic”
/{^Germany}/ “Germany” “Germany’s politics …”
ejemplos de búsqueda (ii)
patrón
/wh./
/wh*/
/.*/
/wh?/
/wh+/
/^[+-]?[0-9]+$/
resultado
“who” “why” “wh3” …
“w“ “wh” “whh” “whhh” …
Cualquier cadena de caracteres
“w” “wh”
“wh” “whh” “whhh” …
Cualquier entero (con o sin signo)
/^…$/ La línea coincide exactamente
[-+]? Posible signo inicial
[0-9]+ Cualquier cadena de números
acciones
• awk ‘/search_pattern/ {awk_actions}’ filename
• Podemos tener cualquier tipo de acción que ofrezca
awk como lenguaje de programación (~C)
– Asignación de variables y arrays (=)
– Operaciones aritméticas simples (+,-,*,/,%, ++, --, ^)
– Comparaciones aritméticas (==,!=,>,<,>=,<=)
– Operaciones aritméticas avanzadas (sqrt, log, exp, int)
– Salida por pantalla (print y printf)
– Procesamiento de cadenas (substr, split, index, length)
– Estructuras de control (if…else, for, while)
• For se puede usar como en bash: for(var in lista) o como en C
acciones
acción
descripción
substr(str,start,
length)
split(str, array
[,sep])
substr("unforgettable",6,3)  “get”
next
split(“jay:bob”,c,”:”)
 c[1]=jay, c[2]=bob
index(“gorbachov”, “bach”)  4
index(“gorbachov”, “z”)  0
salta a la siguiente línea de texto
length(str)
devuelve la longitud de la cadena
index(str, str)
break, continue, exit
Como en shell y C
print y printf
acción
print
descripción
imprime la linea actual
print
imprime “cad1 cad2”
“cad1”,”cad2”
print “cad1” imprime “cad1cad2”
“cad2”
printf()
imprime siguiendo la sintaxis de C:
%d, %f, %o, %x
%n.m
\n, \t
variables
• No tienen tipo ni hay que declararlas
• Se asignan como en los programas de la shell
• Variables especiales:
variable
descripción
$1, $2, $3… Variable de campo, da el valor de la
columna 1, 2, 3 …
$0
Contiene el valor de toda la línea
NR
Número de líneas de entrada
NF
Número de columnas
$NF
Valor de la última columna
variables especiales (ii)
variable
FILENAME
FS
descripción
Nombre del fichero de entrada
Separador de columnas. Por defecto es
“white space”, refiriéndose a “[ ]“ y “\t”
También se puede modificar con la opción de comando –
F seguido del delimitador (-F:, -F/)
RS
OFS, ORS
OFMT
Separador de filas. Por defecto es
“newline”, refiriéndose a “\n”
Como los anteriores pero para el fichero
de salida
Formato numérico. Por defecto “%.6g”
arrays
• Sólo tienen una dimensión
• El acceso se identifica por indices
–array[1], array[2], array[3]
–Los índices van de 1 a N
• Podemos usar como índices cadenas:
– array[“Roberto”], array[“Antonio”], array[“Luis”]
– En este sentido, se pueden utilizar los arrays como tablas
hash
• Para acceder a cada elemento de un array
– for (i in array)
print $i
Ejemplos
•
Imprimir todas las líneas con la palabra “gold”
–
•
awk ‘/gold/’ coins.txt
Imprimir todas las líneas de coins.txt
–
•
awk ‘{print}’ coins.txt
Imprimir la tercera columna de coins.txt
–
•
awk ‘{print $3}’ coins.txt
Guardar la tercera columna de las líneas de coins.txt
que contengan la palabra “gold” a un fichero
goldYear.txt
–
awk ‘/gold/ {print $3}’ coins.txt > goldYear.txt
Ejemplos
• Hacer doble espaciado en coins.txt (poner una
línea en blanco tras cada línea)
–awk ‘{print ; print “ “}’ coins.txt
• Hacer doble espaciado SIN duplicar líneas en
blanco
– awk {print ; if(NF>0) print “”} coins.txt
• Contar el número de líneas en el fichero
–awk ‘END {print NR}’ coins.txt
–wc coins.txt
Ejemplos
• Imprimir el tamaño medio de los ficheros de
nuestro directorio actual
• ls -l | awk '{count+=$5} END {print count/(NR-1)}‘
• Generar los 10 primeros números de la
secuencia de Fibonacci: 1 1 2 3 5 8 13 21 34 55
»awk 'BEGIN
»
{
»
a=1; b=1;
»
count=0;
»
while(count++<10)
»
{print a; ta=a; a=b; b=b+ta;}
»
}'
Scripts con awk
• Hacer un script que se llame words, que escriba
cada palabra en el fichero pasado como
parámetro en una nueva línea
– awk ‘NF>0 {split($0, c); for(i in c) print $i}’ $1
– awk ‘BEGIN {FS=“[^A-Za-z]+”}
– {for(i=1;i<=NF;i++) print $i}’ $1
Programas awk
• Un programa awk tiene el siguiente aspecto:
•search_pattern1 {awk_actions1}
search_pattern2 {awk_actions2}
•…
•
search_patternN {awk_actionsN}
•
Se llama con:
•awk –f awk_program filename
Ejemplo programa awk: findDup
• Buscar palabras seguidas duplicadas en un fichero
• BEGIN { dups=0; w="xy-zzy" }
•
{
•
for( n=1; n<=NF; n++)
•
{
•
if ( w == $n )
•
{
•
print w, "::", $0 ;
•
dups = 1
•
}
•
w = $n
•
}
•
}
• END
{ if (dups == 0)
•
print "No duplicates found."
•
}
Ejercicios
1. Modificar findDup para que muestre el
número de línea en el que se produce el
duplicado
2. Modificar findDup para que no cuente la
última palabra de la línea anterior
Condiciones
• En vez de patrones de búsqueda, podemos usar
condiciones.
• Ejemplo: buscar líneas con el nº diez en su
segundo campo, e imprimir la línea siguiente
•BEGIN {flag = 0}
•$2 == 10 {flag = 1; next}
•flag == 1 {print; flag = 0; next}
• ¿Cómo modificar para que acepte cualquier
número en vez del 10 como parámetro?
ejercicios: bases de datos
•
Trabajando sobre el fichero cars.txt
1. Buscar todos los coches de la marca volvo
2. Mostrar la columna 3, seguida de la 1
3. Mostrar todas las entradas que contengan una ‘h’
en la primera columna
4. Mostrar todas las entradas cuya primera columna
empiece con una ‘h’
5. Mostrar la columna 2, luego la 1, luego un ‘mpg’
seguido de la columna 3; sólo para aquellas
entradas cuya seguna columna empieza por m o t.
¿Se observa algo raro?
ejercicios (ii)
6. Mostrar las entradas cuya columna 5 tiene un
valor numérico menor o igual a 100
7. Mostrar todas las entradas desde la primera
que contenga ‘toyota’ hasta la primera que
contenga ‘chevrolet’
8. Mostrar todos los usuarios del sistema que no
tengan como shell por defecto /bin/sh
script con awk
• En shell script, los parámetros de la función
están en $1, $2, $3 …
• En awk, $1, $3, $3 … expresan campos!
• Si queremos usar parámetros del script en
llamadas a awk, antes tenemos que
almacenarlos en otras variables
Ejemplo awk script
• Ejemplo: hacer un script que, mediante awk, devuelva
un campo de un fichero. Campo y fichero deben ser
parámetros del script
»file=$1
»num=$2
»awk '{print $'$num'}' $file
»awk '{print $' $2 '}' $1
• En estos casos, no podemos usar awk –f y
tener el programa awk en otro fichero, pues no
podríamos pasarle los parámetros de la script
Ejercicios awk scripts
• Un palíndromo es una palabra que es igual si se
escribe de izquierda a derecha que al revés.
Buscar todos los palíndromos que se encuentran
en un texto. El script tendrá la sintaxis:
–palindrome filein fileout
ejercicios (ii)
• Hacer un script que devuelva todas las palabras
de un fichero (sin repetir) que tengan tantas letras
como se le indique. El script debe tener la sintaxis
– textAnalysis –l n file
• donde n es el número de letras
• file es el fichero de entrada
nawk
• awk está diseñado para hacer programas cortos
• pero mucha gente lo adoptó como lenguaje de
programación al uso y desarrollaba con él
• nawk (new awk) trata de incorporar herramientas
para una mejor gestión de programas largos
–Funciones
–Entrada: getline
–Trigonometría: sin, cos, atan2, rand, srand
–Manejo de cadenas: match, sub
otras versiones
e implementaciones
• bkw: versión de Brian Kernigan de awk
• gawk: implementación GNU de awk
– No funciona en todos los sistemas
– xgawk: projecto SourceForge que extiene awk con la carga
de bibliotecas dinámicamente
• mawk: implementación muy rápida de awk por Mike
Brennan, basado en un intérprete de código binario
– awka: traductor de awk a C basado en mawk.
• tawk: compilador de awk para DOS y Windows de
Thompson Automation Software
• jawk: implementación de awk en Java
shell y awk en la historia
de la programación
http://www.oreilly.com/news/graphics/prog_lang_poster.pdf
referencias
• Tutoriales utilizados
–shell scripting
• http://www.cyberciti.biz/nixcraft/linux/docs/uniqlinuxfeatures
/lsst/
• http://tldp.org/LDP/abs/html/index.html
–sed
• http://www.grymoire.com/Unix/Sed.html#uh-1
–awk
• http://cs.sru.edu/~whit/cpsc207/notes/awkegs.html
• http://www.vectorsite.net/tsawk_1.html#m1
referencias (ii)
• Libros
– Shells: User’s Guide. Hewlett Packard,
1991
– Linux & Unix Shell Programming. David
Tansley
– Portable Shell Programming. Bruce Blinn
– Unix Shell Programming. Stephen G.
Kochan and Patrick H. Wood
– sed & awk. Dale Dougherty and Arnold
Robbins
– awk Programming. Arnold Robbins
– The AWK programming language. Aho,
Kernigan y Weinberger, 1988, AddisonWesley.