Sugerencias para desarrollo de una Solución Integration Services 2005-2008


Aprovecho la ocasión para compartir con ustedes algunas sugerencias que pueden considerar al momento de iniciar un proyecto de Integration Services.

Cuando realicemos un proyecto SSIS, debemos considerar los siguientes aspectos:

  1. Identificar los orígenes de datos (Data Sources).

     

    En esta sección debemos hacer una relación de las bases de datos y archivos que van a ser utilizados para la extracción de información. Para ello sugiero la siguiente tabla como apoyo.

     

Nombre Archivo

Tipo de Archivo

Ubicación del Archivo

Nombre del Equipo

Sistema Operativo

produccionMensual.xls

Microsoft Excel 2003

\\PRODUCCION\documentos

PRODUCCION

Windows Server 2008 STD

controlMaquinasEnsamble.txt

Texto separado por Tabuladores

C: \archivosMaquinas\

ENSAMBLE

Windows XP Pro

 

Nombre Base de Datos

Manejador Base de Datos

Nombre del Equipo

Sistema Operativo

dbVentas

MS SQL Server 2008

SERVERSQL

Windows Server 2008 STD

dbSAP

Oracle 11g R2

SERVERORA

Suse Linux

 

  1. Identificar los destinos de datos (Data Destination).

     

    Ahora definimos los destinos de bases de datos y archivos que van a consolidar la información.

     

Nombre Base de Datos

Manejador Base de Datos

Nombre del Equipo

Sistema Operativo

dbDataMartVentas

MS SQL Server 2008

SERVERSQLDW

Windows Server 2008 STD

dbDataMartProduccion

MS SQL Server 2008

SERVERSQLDW

Windows Server 2008 STD

 

 

  1. Crear o aplicar un estándar en la nomenclatura tanto en Base de Datos como en Proyectos SSIS.

     

    Es importante definir los estándares en nomenclatura para definir Conexiones a Bases de Datos, Tablas, Vistas, Stored Procedures, etc, así como para los Proyectos SSIS. Cito algunos ejemplos de nomenclatura que a muchos clientes les ha sido de utilidad.

     

    Bases de Datos

     

    Sintaxis (escritura camel)

    Ejemplo

    Nombre Base de Datos

    db + Nombre Base de Datos

    dbVentasNacionales

    Tabla de Catálogo

    cat + Nombre Tabla

    catEmpleado

    Tabla Transaccional

    mov + Nombre Tabla

    movInventario

    Tabla Relación

    rel + Nombre Tabla

    relProductosFacturas (detalle de facturas)

    Stored Procedure

    stp + Nombre Stored Procedure

    stpAgregarCreditoBancario

     

    Proyecto SSIS

     

    Sintaxis

    Ejemplo

    Nombre Proyecto(Solución)

    SSIS + guión bajo + Nombre Proyecto

    SSIS_VentasNacionales

    Conexión a Base de Datos

    ds + SQL (Tipo Manejador) + guión bajo + Nombre Base de Datos

    dsSQL_AdventureWorks2008

    dsORA_SAP

    Paquetes

    Nombre Módulo

    consolidarVentasMensuales

    etlDataMartFinanzas

     

     

  2. Crear o utilizar un Diccionario de Datos Corporativo, que permita la fácil integración de los diversos sistemas en un futuro.

     

    Considero importante el desarrollo de este punto, ya que constantemente nos enfrentamos a una gran diversidad de tipos de datos. Les comento que en una ocasión participé en un proyecto en donde una sola base de datos en Oracle 9i incluía 80 tipos de datos diferentes. El problema no estaba en la cantidad de tipos de datos, sino en las interfaces y ajustes que tenían que generar los equipos de desarrollo para la integración de todos los sistemas, y si a esta problemática le suman la integración con SAP, ya podrán descifrar lo que les esperaba.

     

    Como apoyo para el proyecto citado, utilizamos la herramienta ER/Studio, la cual pueden conseguir para prueba en www.embarcadero.com. Al instalar la herramienta se obtuvo el Diagrama Entidad Relación mediante la Ingeniería Inversa, cabe mencionar que esta herramienta tiene macros muy útiles para generar información de la metadata.

     

    Pues bien, después de un trabajo intenso se definió un Diccionario de Datos Corporativo con 25 tipos de datos y el cuál es aplicado exitosamente en los nuevos desarrollos logrando así, minimizar los tiempos de desarrollo e implementación de procesos de ETL (Extract-Transform-Load).

     

  3. Documentar el mapeo de las columnas origen contra las columnas destinos.

     

    Esta etapa debe incluir conversiones de tipos de datos, validaciones y limpieza de la información; por ejemplo la eliminación de datos NULL, sustituir columnas numéricas con NULL por 0 (CERO), concatenación de columnas, etc. Cabe mencionar que esta etapa demanda tiempo para garantizar la correcta integración de los datos entre diversos sistemas y la consolidación final.

     

  4. Desarrollar un diagrama de flujo que permita visualizar la secuencia de ejecución de cada tarea (Task), previo al modelado del Proyecto SSIS.

     

    Considero importante, más no obligatorio, el diseñar un DF (Diagrama de Flujo) en papel que puede apoyarnos en el desarrollo de nuestro proyecto SSIS. Éste podrá darnos un panorama general para definir los pasos a seguir y que debemos aplicar en el diseñador de Integration Services.

     

Si tienen oportunidad de ingresar a embarcadero, busquen un webcast que desarrollé aplicando el uso de ER/Studio y conceptos de la disciplina Data Governance.

Espero que sean de utilidad estas sugerencias ¡Suerte!

 

 

No comments yet

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

A %d blogueros les gusta esto: