Transcript David Pantoja

II Encuentro Internacional de
Especialistas en Registro Civil
Caracas Venezuela abril de 2011
Mesa Nº 3, Sesión 2, Área Tecnológica
Proceso de Captura y Digitalización del
Acervo Histórico de la Ciudad de México
Ponente:
David Pantoja Meléndez
Responsable de Sistemas de la Dirección General del
Registro Civil de la Ciudad de México
Introducción
El Valle de México está integrado principalmente, por dos estados de la
República Mexicana que tienen colindancia, el Estado de México y la Ciudad
de México, la Ciudad de México es la Capital del País y cuenta con una
población actualmente de 8,851,080 personas para el año 2010, en que se
realizó el último censo a nivel nacional.
Sin embargo la situación geográfica de la Capital de la República, genera un
fenómeno de “sobre-registro” debido a los derechos que adquieren los
pobladores de estados vecinos al ser registrados en el Distrito Federal (Ciudad
de México).
Este hecho se ve reflejado en el tamaño del acervo registral del Distrito
Federal, que cuenta con mas de 27.5 millones de registros de nacimiento,
matrimonio y defunción, desde su apertura en el año de 1861.
Cabe señalar que existieron dos ejes centrales el la realización del proyecto.
1.- La totalidad del software desarrollado se baso en tecnologías abiertas
(Software Libre).
2.- En la realización de la totalidad de la captura y digitalización de los acervos
del Registro Civil, no participó empresa alguna, toda la responsabilidad tanto de
la captura, digitalización y desarrollo del software corrió a cargo del Gobierno
del Distrito Federal.
Procesos de selección y preparación previos al proceso de digitalización
Los libros se tomaron de los repositorios
que radican en la Oficina Central o en
los diferentes juzgados en el Distrito
Federal y fueron llevados a la Oficina
Central del Registro Civil.
Los libros fueron seleccionados en primera
instancia por su demanda en la ventanilla de
Servicio al Público, siendo los más
demandados, los primeros en ser capturados.
Técnicas, tecnologías y procesamiento de imágenes digitales, Servidores,
para los procesos de digitalización.
Los libros seleccionados se
fotografiaron con cámaras digitales
previamente calibradas para aprovechar
toda el área del libro, sobre soportes, no
se utilizaron “scanners” planetarios ni de
cama plana, las cámaras utilizadas
fueron Canon Digital Rebel, con un
costo aproximado de 1,000 dls, contra el
costo de mas de 30,000 dls de un
scanner planetario
Posterior a la digitalización, el libro fue tomado por el área de
captura dónde se extraen los datos esenciales del acta para
ingresarlos a una base de datos
Se llevaron a cabo pruebas de la velocidad de captura, con respecto a
las imágenes digitalizadas y los libros como fuentes de captura,
existiendo una eficiencia cercana a un 20% mayor en la lectura directa
de los libros con respecto a las imágenes digitalizadas, El sistema que
se utilizó para la captura fue hecho en software libre en su totalidad.
Las imágenes resultantes de la fotografía fueron llevadas, a través de
un programa a un almacén digital donde se concentran todas las
fotografías de las actas.
Durante su almacenaje , las imágenes son procesadas por un programa
que le extrae los “patrones” a la imagen resultando una imagen mucho más
ligera, fácil de manejar y con alto contraste.
Una vez “preprocesadas” las imágenes, éstas fueron tomadas por el área de
edición digital para recortar bordes, ordenar, enumerar y dar certidumbre a
cada imagen dentro del libro que la compone, en esta parte del proceso
comienza el control de calidad, las imágenes que no superan la prueba de ser
visualizadas e impresas en papel de manera correcta son vueltas a procesar
o a fotografiar según sea el caso.
Producción diaria de imágenes digitalizadas,
tiempo de adquisición en cada imagen
En promedio cada usuario adquiere una fotografía cada 1.8
segundos, logrando un libro de 400 actas en aproximadamente en
15 o 20 minutos dependiendo de las condiciones físicas del libro
Existen 4 usuarios por turno, con una cámara asignada a
cada uno de ellos, existen tres turnos de 5 horas efectivas a
lo largo del día:
12 usuarios totales x 21 horas activas x 5 días a la
semana.
Esto da un total estimado de 480,000 actas semanales,
el numero varió dependiendo del tipo de acervo
digitalizado, pero es un número representativo de la
producción de digitalización.
Diagrama del Proceso
Ingreso del
lote en el sistema
Ingreso al
área de captura
1a captura
Fotografiado
de libros
2a captura
Edición digital
Procesamiento digital
en almacén central
Devolución a
Repositorio central
Validación
NO
SI
¿Libro de
Juzgado?
Devolución
a su Juzgado
de origen
Software de captura utilizado en la digitalización
El área de digitalización se dividió esencialmente en dos partes:
fotografía y edición digital.
La fotografía se compone en primera instancia en cámaras
digitales comerciales marca Canon modelo Rebel Xs* montadas en
soportes de antiguas microfilmadoras y con una terminal pc con
sistema operativo Linux que ejecuta un software desarrollado por
el personal del proyecto, con perl-gtk
En dicho software, el usuario descarga las fotografías tomadas por su cámara
directamente al programa, en la interfaz del programa , el usuario puede
cambiar ciertos parámetros para que la imagen final quede optimizada a su
mejor contraste.
Después de este muestreo el programa integra el lote (libro) a el almacén
central e inserta los datos actualizados en una tabla de control denominada
lotes.
Una vez “subido” el lote un programa automatizado llamado “procesamiento”
toma el lote y hace una versión a blanco y negro con paleta de un bit, en un
formato conocido como raster file
Imagen original
(detalle)
Imagen procesada
(detalle)
Cuando el lote ha sido procesado queda a disposición para que el área de
edición digital lo tome, elimine las duplicadas, recorte los bordes, reordene las
actas y renombre los archivos.
Las características del proceso de indexación asociado a la digitalización
Cada imagen de un acta por si misma carece de toda la información que se
requiere para identificarla, por tal, en el proceso de edición digital se ha
establecido un criterio para dar identidad propia a cada archivo, por ejemplo:
Tenemos un archivo de imagen con el
siguiente número: 195830000248.tif
El primer campo define el acto:
1 nacimiento
2 matrimonio
3 defunción
Los siguientes tres campos definen el
año, en este ejemplo 1958.
Los siguientes 2 campos definen el
juzgado.
Los últimos 6 campos definen el
número de acta.
Todos los campos a excepción del
número de acta, son otorgados por el
sistema.
Control de calidad en la Imagen Digital
Durante el proceso de reordenamiento de
las imágenes los usuarios del programa
deben responder a los siguientes
lineamientos:
Una imagen se rechaza cuando:
-Está repetida
-Está desenfocada por error en la
fotografía
-Aparecen manchas sobre la imagen que
no permiten ver claramente la información
-Las imágenes de origen no tienen las
condiciones adecuadas: mutilaciones,
alteraciones, borrones, manchones, etc.
-Las imágenes no corresponden a los
datos de control en la base de datos
Medios de almacenamiento de imágenes, políticas de respaldo y seguridad.
Tamaño de las imágenes adquiridas, capacidad instalada para el
almacenamiento, espacio utilizado, posibilidades de crecimiento.
Actualmente, en el Registro Civil
contamos con un equipo EVA que lleva
integrado seis blades de 24 núcleos cada
uno. Y un storage de almacenamiento de
24 Terabytes en un arreglo tipo RAID 5
con capacidad de creación, presentación
y gestión de discos virtuales que, a su vez
pueden ser “creados” en RAID 0, RAID 1
etc.
Cada disco virtual creado puede ser
“acomodado” a su vez en un Volumen
virtual con la posibilidad de ir añadiendo
mas discos virtuales cuando se
necesiten.
Bajo estas condiciones se almacenan
las imágenes finales, que son puestas a
disposición del público en la cajaventanilla.
Cada imagen que sale directamente de
la cámara tiene un tamaño promedio de
3.5 Mb, el programa de procesamiento
digital crea una versión comprimida de
la imagen original con un tamaño
promedio de 350 Kb y una imagen en
blanco y negro con un tamaño poco
mayor a 150 Kb
Las Imagenes son consultadas a
través de un índice en una base de
datos, pero no son introducidas en
ésta, se encuentran disponibles
solo las urls para acceder a ellas,
las mismas se encuentran en un
sistema de archivos mostrado por
“Apache”, este diseño ha servido
enormemente para no complicar el
respaldo de la base de datos de
captura e imagen, de haber
integrado las imágenes a base de
datos, la política de respaldos
requeriría un mayor número de
recursos.
Base de Datos utilizado para el almacenamiento de las imágenes,
mecanismos de consulta, recuperación de datos y el entorno web utilizado.
Tanto las imágenes como las capturas son gestionadas por una base de
datos Oracle, único Software Propietario existente en el Registro Civil en la
actualidad.
Las imágenes son indexadas en esta base de datos pero la
referencia radica en una url que es consultada por un programa
hacia un servidor apache.
Dicho de otra manera: Las imágenes son almacenadas en un
storage dónde existe un servidor web apache con dirección url
conocida y la base de datos hace referencia únicamente a dicha url
donde los programas de gestión de imágenes remiten la petición vía
web.
Recurso humano utilizado y su perfil, estructura de roles
implementada
El factor humano es sumamente
importante en esta etapa del
proceso puesto que para operar
los programas se requiere
capacitar a los usuarios en el
uso y criterios de control de
calidad y operación de equipo
El perfil requerido para esta labor es
de personas que tengan la atención
mínima a detalles en los criterios
definidos y cuidado en el uso de
equipo, durante el programa se
contrataron casi 2000 capturistas,
fotografistas y editores de imágenes,
todos dependientes del Área de
Informática, con una estructura de
Coordinador General->
Supervisores-> Operarios.
Plan de trabajo y líneas de producción.
Los libros pueden tener tres fuentes: la bodega central, los
acervos propios de cada juzgado o el archivo judicial.
La primera fuente fue archivo central donde se encuentra mucho del
acervo del Registro civil. Para tomar libros de esta fuente es necesario
hacer llegar el oficio correspondiente el encargado del área y certificar con
éste el listado de los libros.
Posterior a ello, los libros pasan a los anaqueles de fotografía donde son
revisados en primera instancia y fotografiados. Luego pasan a los
anaqueles de captura, donde los supervisores asignan cada libro a que sea
capturado en dos ocasiones.
Después los libros son llevados a
validación donde se comparan las dos
capturas anteriores contra el libro y se
hacen las correcciones necesario
Por último son devueltos a su área
original, existió un impacto en la
expedición de copias certificadas
durante el proceso de captura, que fue
minimizado por la expedición de
fotocopias de los libros que se
encontraban trabajandose en el área
de captura.
Plan de despliegue geográfico para el proceso de
digitalización
El proceso de digitalización , así como el de captura histórica fueron
centralizados en su totalidad en las instalaciones de la Oficina Central
de Registro Civil
Cuando la fuente de libros no fue la oficina central se requirió de la
transportación de libros desde los juzgados.
La mecánica fue esencialmente la misma, con la añadidura de
solicitar a recursos materiales el transporte de carga
describiendo ruta, día, juzgado, peso estimado de los libros y
tiempo empleado en el proceso.
Este mecanismo se repitió dos veces por cada juzgado, para evitar
que grandes porciones de los acervos, se quedaran sin dar
servicio y por cuestiones logísticas se optimizó el procedimiento
planeando rutas a varios juzgados por ocasión.
Costos estimados involucrados en el proyecto de
digitalización/relación de producción promedio.
Las cámaras involucradas en el proceso de digitalización son cámaras
comerciales que se pueden adquirir en el mercado regular por un precio
que varía, dependiendo del lugar donde se adquiera desde 720 dls hasta
1000 dls y una cámara trabajando en condiciones regulares puede hacer
un promedio de 300000 disparos antes de dar fallo.
La Institución adquirió 210 pcs, 6 servidores blade, y sistema de
almacenamiento (SAN), 1 licencia de Oracle, y se tuvieron periodos variantes
de personal que iban desde 90 hasta 635 capturistas trabajando en 3 turnos del
año 2007 hasta principios del 2010, se invirtió en la renovación de la
infraestructura de mas de 50 oficialías, así como en su intercomunicación,
desarrollo de programas para el levantamiento de nuevos registros del Estado
Civil de las Personas, así como múltiples formas de expedición de copias
certificadas, en Centros Comerciales, a través de Kioscos, a través de Internet
e incluso oficialías móviles
Se estima que la inversión total de este proyecto de modernización del Registro
Civil fue de unos 11 millones de dólares, aunque calcular esta cifra es solo una
aproximación, ya que algunos costos pueden haberse abaratado al utilizar
energía eléctrica de la Institución, aprovechar su infraestructura administrativa,
sus instalaciones entre otros costos difíciles de calcular debido a la estrategia
seguida en el proyecto.
Conclusiones del Proyecto de Modernización
del Registro Civil del Distrito Federal
1.- La utilización de Software Libre fue fundamental durante el proceso,
debido a sus características de flexibilidad en su esquema de licenciamiento,
pudieron agregarse módulos a proyectos existentes, utilizar frameworks de
desarrollo libres, permitió utilizar librerías desarrolladas sin tener en cuenta
problemas legales por su utilización.
2.- Realizar el proyecto en su totalidad dentro de la Institución, permitió
desarrollar una gran capacidad tecnológica dentro de la misma, al evitar el
outsourcing, el desarrollo de recursos humanos y el aprendizaje de nuevas
tecnologías, ha dejado a la Institución un legado de conocimiento para las
futuras generaciones de ciudadanos y trabajadores del Registro, ya que la
Institución decidió invertir sus recursos en desarrollo humano, mas que en
contratación de empresas, que si bien es cierto en algunos casos es la única
vía valida para la elaboración de algunas cosas, en un proyecto de estas
dimensiones, la Institución debe llevar la batuta de manera directa del
proyecto, aunque si debe advertirse que se deberá contar con los recursos
humanos necesarios para llevarlo a cabo con éxito, en este caso, el
presupuesto con el que se contó para el proyecto limitó en mucho la
contratación de outsourcing, siendo la única salida, la realización del proyecto
directamente por la Institución.
Gracias