martes, 25 de noviembre de 2014

Diseño de la base de datos de dataware house



Diseño conceptual

El diseño conceptual tiene por objetivo la construcción de una descripción abstracta y completa del problema. Comienza con el análisis de requerimientos de los usuarios y de reglas de negocio, y finaliza con la construcción de un esquema conceptual expresado en términos de un modelo conceptual.

Diseño lógico

La etapa de diseño lógico toma como entrada un esquema conceptual y genera un esquema lógico relacional o multidimensional. La dificultad principal es encontrar un esquema lógico que satisfaga no sólo los requerimientos funcionales de información, sino también requerimientos de performance en la realización de consultas complejas de análisis de datos. Esto tiene particular impacto en el caso de usarse bases relacionales, ya que las consultas de análisis de datos incluyen operaciones muy costosas para DBMS relacionales.

Análisis de los requerimientos empresariales

Introducción al Análisis de los requerimientos 

Las necesidades del negocio son la razón de ser del Data Warehouse. En este sentido, el análisis debe concentrarse en las necesidades empresariales y los métodos a aplicar deben representarlas de manera adecuada dentro del Data Warehouse. 



Análisis de los requerimientos empresariales.  

Se tienen dos métodos de análisis de los requerimientos empresariales. Estos son complementarios, pues el primero está orientado a definir el tema de negocio a abordar y el segundo está orientado a detallar el requerimiento dentro de este tema de negocio. Los métodos son los siguientes: 

• Análisis de arriba hacia abajo
• Análisis de la consulta empresarial 


Análisis de arriba hacia abajo 

Permite la selección de la información correcta para el Data Warehouse. Los objetivos empresariales, desde la visión de arriba hacia abajo, enfocan el área en la que puede hacer un incremento del Data Warehouse. 

El análisis de arriba hacia abajo tiene dos pasos: 

  1. Primero centrarse en los objetivos.      
  2. Segundo, relacionar los objetivos organizacionales con las funciones de la organización. Según el gráfico, se puede definir como áreas temáticas la administración de ingresos o la administración de costos. Cada tema requiere un conjunto diferente de información que debe manejar el data Warehouse, y un conjunto diferente de técnicas de análisis que deben emplear los usuarios finales. 

La administración de ingresos tiene mucha relación con el pronóstico de ventas a futuro con base en las ventas pasadas. Los patrones ambientales y las tendencias de compras, también se puede requerir de fuentes de información externas. Por otro lado la administración de costos  tiene que ver con el control operacional y la vigilancia de varias medidas de costos empresariales. La evaluación comparativa es una herramienta para la administración de costos. 


Análisis de la consulta empresarial 

La visión de la consulta empresarial es la perspectiva de los datos del Data warehouse desde el punto de vista del usuario. Una de las razones de la popularidad del modelo de datos multidimensional o estrella, es que es un reflejo cercano de la forma en que un analista empresarial visualiza una consulta. De hecho, una tabla multidimensional es una representación exacta de una consulta multidimensional. Por ello, para el analista, proponer la consulta es lo mismo que consultar directamente una tabla multidimensional. De ahí que la consulta empresarial sea una solicitud de hechos, a veces llamados mediciones o medidas de varias dimensiones. 

Las consultas empresariales contienen además sub-consultas o puntos de corte. Por ejemplo, por mes, ciudad o país. Estos puntos de corte deben también incorporarse como dimensiones y vincularse a las tablas de hechos. 



Una consulta típica es la siguiente: 

“Se necesita analizar las ventas de productos por tipo en todas nuestras tiendas en los últimos 12 meses” 

Esta consulta se puede representar de la siguiente manera:    
De esta manera, se define un modelo en el que las entidades tiempo, ubicación, producto son las dimensiones que permiten ver las ventas (medidas) desde cada una o desde la combinación de mas de una dimensión. 


Análisis de las fuentes de datos. 

Se analizan las fuentes de información con la finalidad de ver si es factible atender los requerimientos definidos en el análisis de los requerimientos empresariales. Los aspectos a considerar en el análisis son los siguientes: 
• Tecnologías de almacenamiento 
• Definiciones múltiples 
• Campos nulos 
• Formatos diferentes 
• Codificación diferente 
• Duplicidad  

Tecnologías de almacenamiento 

Se refiere al análisis de los tipos de datos, y de las plataformas que los soportan. Entre los tipos principales están las Bases de datos relacionales, archivos, datos comprados, datos no estructurados.  




Esquema de los componentes de la inteligencia de negocios


Componentes de la inteligencia de negocios

Fuentes de información.

Es donde se va adquiriendo la información para la alimentación del datawarehouse.  por mencionar algunas fuentes de información son: sistemas departamentales, fuentes de información externas, sistemas operacionales.

Proceso ETL

La primera parte del proceso ETL consiste en localizar y extraer los datos, ya que en la mayoría de los proyectos de almacenamiento se fusionan datos provenientes de diferentes sistemas de origen tales como ERP, CRM, bases de datos, plantillas Excel, etc
Los formatos de las fuentes normalmente se encuentran en bases de datos relacionales o ficheros planos, pero pueden incluir también bases de datos no relacionales y otras estructuras o formatos diferentes. La extracción convierte los datos a un formato homogéneo y consolidado para iniciar el proceso de transformación.
Un requerimiento importante que se debe exigir a la tarea de extracción es que ésta cause el menor impacto en el sistema de origen. Si los datos a extraer son muchos, el sistema de origen se podría ralentizar e incluso colapsar, provocando que éste no pueda utilizarse con normalidad para su uso cotidiano. Por esta razón, en sistemas grandes las operaciones de extracción suelen programarse en horarios o días donde este impacto sea nulo o mínimo.
La fase de carga es el momento en el cual los datos de la fase anterior (transformación) son cargados en el sistema de destino.

Datawarehouse

Un Datawarehouse es una base de datos corporativa que se caracteriza por integrar y depurar información de una o más fuentes distintas, para luego procesarla permitiendo su análisis desde infinidad de perspectivas y con grandes velocidades de respuesta. La creación de un datawarehouse representa en la mayoría de las ocasiones el primer paso, desde el punto de vista técnico, para implantar una solución completa y fiable de Business Intelligence.
La ventaja principal de este tipo de bases de datos radica en las estructuras en las que se almacena la información (modelos de tablas en estrella, en copo de nieve, cubos relacionales... etc). Este tipo de persistencia de la información es homogénea y fiable, y permite la consulta y el tratamiento jerarquizado de la misma (siempre en un entorno diferente a los sistemas operacionales).
 Olap server

OLAP es el acrónimo en inglés de procesamiento analítico en línea (On-Line Analytical Processing). Es una solución utilizada en el campo de la llamada Inteligencia empresarial (o Business Intelligence) cuyo objetivo es agilizar la consulta de grandes cantidades de datos. Para ello utiliza estructuras multidimensionales (o Cubos OLAP) que contienen datos resumidos de grandes Bases de datos o Sistemas Transaccionales (OLTP). Se usa en informes de negocios de ventas, marketing, informes de dirección,minería de datos y áreas similares.
La razón de usar OLAP para las consultas es la rapidez de respuesta. Una base de datos relacional almacena entidades en tablas discretas si han sido normalizadas. Esta estructura es buena en un sistema OLTP pero para las complejas consultas multitabla es relativamente lenta. Un modelo mejor para búsquedas (aunque peor desde el punto de vista operativo) es una base de datos multidimensional.
La principal característica que potencia a OLAP, es que es lo más rápido a la hora de ejecutar sentencias SQL de tipo SELECT, en contraposición con OLTP que es la mejor opción para operaciones de tipo INSERT, UPDATE Y DELETE.
 Herramientas de acceso

son todos aquellos host finales en donde podemos visualizar la información procesada para la toma de decisiones. 

Planificación de un proyecto Data Warehouse

La planificación es el proceso más importante que determina la clase de tipo de estrategias data warehousing que una organización iniciará.




Factores en la Planificación de un Data Warehouse

No existe una fórmula de garantía real para el éxito de la construcción de un data warehouse, pero hay muchos puntos que contribuyen a ese objetivo.

A continuación, se indican algunos puntos claves que deben considerarse en la  planificación de un data warehouse:

Es esencial involucrar tanto a los usuarios como a la gestión para asegurar que el data warehouse contenga información que satisfaga los requerimientos de la empresa.

La gestión puede ayudar a priorizar la fase de la implementación del data warehouse, así como también la selección de herramientas del usuario. Los usuarios y la gestión justifican los costos del data warehouse sobre cómo será "su ambiente" y está basado primero en lo esperado y segundo, en el valor comercial real.

Seleccionar una aplicación piloto con una alta probabilidad de éxito

Una aplicación piloto de alcance limitado, con un reembolso medible para los usuarios y la gestión, establecerá el data warehouse como una tecnología clave para la empresa. Estos mismos criterios (alcance limitado, reembolso medible y beneficios claros para la empresa) se aplican a cada fase de la implementación de un data warehouse.

Construir prototipos rápida y frecuentemente

La única manera para asegurar que el data warehouse reúna las necesidades de los usuarios, es hacer el prototipo a lo largo del proceso de implementación y aún más allá, así como agregar los nuevos datos y/o los modelos en forma permanente. El trabajo continuo con los usuarios y la gestión es, nuevamente, la clave.

Implementación incremental

La implementación incremental reduce riesgos y asegura que el tamaño del proyecto permanezca manejable en cada fase.

Reportar activamente y publicar los casos exitosos

La retroalimentación de los usuarios ofrece una excelente oportunidad para publicar los hechos exitosos dentro de una organización. La publicidad interna sobre cómo el data warehouse ha ayudado a los usuarios a operar más efectivamente puede apoyar la construcción del data warehouse a lo largo de una empresa.

La retroalimentación del usuario también ayuda a comprender cómo evoluciona la implementación del data warehouse a través del tiempo para reunir requerimientos de usuario nuevamente identificados.




 Estrategias para el Desarrollo de un Data Warehouse

Antes de desarrollar un data warehouse, es crítico el desarrollo de una estrategia equilibrada que sea apropiada para sus necesidades y sus usuarios.

Las preguntas que deben tenerse en cuenta son:
                    ¿Quién es el auditorio?
                    ¿Cuál es el alcance?
                    ¿Qué tipo de data warehouse debería construirse?

Existe un número de estrategias mediante las cuales las organizaciones pueden conseguir sus data warehouses.

Primera

Establecer un ambiente "data warehouse virtual", el cual puede ser creado por:
         Instalación de un conjunto de facilidades para acceso a datos, directorio de datos y gestión de proceso.
          Entrenamiento de usuarios finales.
          Control de cómo se usan realmente las instalaciones del data warehouse.
          Basados en el uso actual, crear un data warehouse físico para soportar los pedidos de alta frecuencia.

Segunda

Construir una copia de los datos operacionales desde un sistema operacional único y posibilitar al data warehouse de una serie de herramientas de acceso a la información.
Esta estrategia tiene la ventaja de ser simple y rápida. Desafortunadamente, si los datos existentes son de mala calidad y/o el acceso a los datos no ha sido previamente evaluado, entonces se puede crear una serie de problemas.

Tercera

Finalmente, la estrategia data warehousing óptima es seleccionar el número de usuarios basados en el valor de la empresa y hacer un análisis de sus puntos, preguntas y necesidades de acceso a datos.

De acuerdo a estas necesidades, se construyen los prototipos data warehousing y se prueban para que los usuarios finales puedan experimentar y modificar sus requerimientos.
Una vez se tenga un consenso general sobre las necesidades, entonces se consiguen los datos provenientes de los sistemas operacionales existentes a través de la empresa y/o desde fuentes externas de datos y se cargan al data warehouse.

Si se requieren herramientas de acceso a la información, se puede también permitir a los usuarios finales tener acceso a los datos requeridos usando sus herramientas favoritas propias, o facilitar la creación de sistemas de acceso a la información multidimensional de alta performance, usando el núcleo del data warehouse como base.







Estrategias para el Diseño de un Data Warehouse

El diseño de los data warehouses es muy diferente al diseño de los sistemas operacionales tradicionales. Se pueden considerar los siguientes puntos:


  •  Los usuarios de los data warehouses usualmente no conocen mucho sobre sus requerimientos y necesidades como los usuarios operacionales.
  •  El diseño de un data warehouse, con frecuencia involucra lo que se piensa en términos más amplios y con conceptos del negocio más difíciles de definir que en el diseño de un sistema operacional. Al respecto, un data warehouse está bastante cerca a Reingeniería de los Procesos del Negocio (Business Process Reengineering).
  • Finalmente, la estrategia de diseño ideal para un data warehousing es generalmente de afuera hacia adentro (outside-in) a diferencia de arriba hacia abajo (top-down).
A pesar que el diseño del data warehouse es diferente al usado en los diseños tradicionales, no es menos importante. El hecho que los usuarios finales tengan dificultad en definir lo que ellos necesitan, no lo hace menos necesario. En la práctica, los diseñadores de data warehouses tienen que usar muchos "trucos" para ayudar a sus usuarios a "visualizar" sus requerimientos. Por ello, son esenciales los prototipos de trabajo.




Estrategias para la Gestion de un Data Warehouse

Los data warehouses requieren una comercialización y gestión muy cuidadosa. Debe considerarse lo siguiente:
1.         Un data warehouse es una inversión buena sólo si los usuarios finales realmente pueden conseguir información vital más rápida y más barata de lo que obtienen con la tecnología actual.
Como consecuencia, la gestión tiene que pensarse seriamente sobre cómo quieren sus depósitos para su eficaz desempeño y cómo conseguirán llegar a los usuarios finales.
2.         La administración debe reconocer que el mantenimiento de la estructura del data warehouse es tan crítico como el mantenimiento de cualquier otra aplicación de misión crítica.
De hecho, la experiencia ha demostrado que los data warehouses llegarán a ser rápidamente uno de los sistemas más usados en cualquier organización.
3.         La gestión debe comprender también que si se embarcan sobre un programa data warehousing, se crearán nuevas demandas sobre sus sistemas operacionales, que son:


  • Demandas para mejorar datos
  • Demandas para una data consistente
  • Demandas para diferentes tipos de datos, etc.



Nota:

No se tiene un enfoque único para construir un data warehouse que se adapte a las necesidades de las empresas, debido a que las necesidades de cada una de ellas son diferentes, al igual que su contexto. 

 Además, como la tecnología data warehousing va evolucionando, se aprende cada vez más y más sobre el desarrollo de data warehouses, que resulta en que el único enfoque práctico para al almacenamiento de datos es la evolución de uno mismo.

lunes, 24 de noviembre de 2014

Indicadores de Gestion

indicadores de gestión 

Los indicadores de gestión son medidas utilizadas para determinar el éxito de un proyecto o una organización. Los indicadores de gestión suelen establecerse por los líderes del proyecto u organización, y son posteriormente utilizados continuamente a lo largo del ciclo de vida, para evaluar el desempeño y los resultados.

Los indicadores de gestión suelen estar ligados con resultados cuantificables, como ventas anuales o reducción de costos en manufactura.

Variables de Medición.


Los indicadores gestión de presentan paradigmas a la hora de la medición:


  • La medición precede al castigo: infortunadamente y dado el manejo equívoco que se les da a las mediciones en la mayoría de las organizaciones, las personas piensan que cada vez que “miden” los procesos en los cuales participan, con toda seguridad rodarán cabezas. Muchos administradores utilizan las mediciones como mecanismos de presión y como justificación para sancionar al personal, lo cual crea un rechazo.
    En cambio lo que se busca con la medición es generar rasgos de autonomía de DECISIONES y acción razonable para los empleados y debe ser liberadora de tiempo para los administradores; ya que cuando se emplea de una forma eficiente este recurso y se establece un conjunto de patrones que definen el rango de autonomía de la gestión de las personas y de las organizaciones, estamos contribuyendo al desarrollo de las personas y las organizaciones miasmas.
  • No hay tiempo para medir: con este se quiere referir que los empleados piensan o tratan los indicadores de gestión, como un trabajo extra de sus tareas diarias; debido que no percatan que él mismo lleva a cabo los controles, aunque de manera desorganizada y muy pocas veces efectiva.
    Si los funcionarios y los empleados de las empresas no se percatan de la importancia que tiene el control para sus organizaciones, para el indispensable para el desarrollo exitoso de la gestión, la medición no cobrará su adecuada y definitiva dimensión de la efectiva herramienta de apoyo.


Variables de Análisis


  • Medir es difícil: la medición es difícil según como la persona ha emplear quiera que sea. Si bien es cierto que para algunos procesos se justifican y es necesario caber uso de mediciones especiales en algunos CASOS basta con emplear matemáticas sencillas, reglas de tres, relaciones, sumas o restas y elementos estadísticos elementales.
  • Hay cosas imposibles de medir: es cierto que en algunos casos la medición de algunos agentes, procesos, variables es sumamente compleja, pero hay que tener presente que existen la excepción de la regla.


Disponibilidad de soluciones en el mercado para la BI

Actualmente en el mercado existen diversas soluciones de inteligencia de negocios para las empresas, algunas más completas que otras, obviamente todas ofrecen ciertas ventajas que otras no todo depende de la necesidad que le empresa requiera, existen soluciones gratuitas y de paga, aunque las versiones gratuitas soluciones una parte de tu problema van orientadas a la prueba y después de probar adquirir el producto más completo, a continuación se muestran algunos programadas que están 3  en el marcado como soluciones de inteligencia de negocios.
Sistemáticamente, empresas pertenecientes a sectores complicados, salen victoriosas y fortalecidas en TIEMPOS de crisis. ¿Cuál es el secreto? Gestionar bien, aprovechar las oportunidades y saber liderar en estos entornos.
En estos periodos, debemos ser más analíticos y firmes que nunca en NUESTRAS decisiones. En situaciones de cambio, es bueno cuestionarse lo qué hacemos y cómo lo hacemos, pero siempre refrendados en análisis y en datos para poder tomar las mejores decisiones y no dejarse llevar por las “sensaciones del mercado”.
Las empresas que sepan aprovechar las oportunidades que brinda este periodo de crisis, serán las que lideren los mercados cuando las aguas vuelvan a su cauce y es precisamente en este escenario donde se hace necesario disponer de herramientas que permitan mejorar la toma de decisiones empresariales, gracias al análisis del mercao y del negocio que realizan.
Estas herramientas y soluciones de BUSINESS  Intelligence (BI), se convierten en estos CASOS, en uno de los mejores aliados para la Dirección, proporcionando un apoyo imprescindible en la toma de decisiones.



El exceso de información no es poder, pero el conocimiento sí lo es. Con demasiada frecuencia, la TRANSFORMACIÓN y el análisis de toda la información y los datos que las propias compañías generan, con independencia de su tamaño o actividad, se convierte en un verdadero problema y, por lo tanto, la toma de decisiones se vuelve lenta, aspecto este, imperdonable en momentos de turbulencia.
En la actualidad, existen distintas herramientas de Reporting y las denominadas soluciones Business Intelligence (sistemas de inteligencia y análisis de negocios) que permiten satisfacer la creciente necesidad de las empresas de transformar información en conocimiento.
La transformación y el análisis de toda la información/datos QUE las compañías generan, se convierte generalmente en un verdadero problema para LOS directivos/decisores, pues precisamente, este exceso de información, hace que la toma de DECISIONES no sea rápida, fiable y efectiva.
Analizando los datos ya disponibles, tanto del análisis del mercado como del negocio, en los sistemas de información, las herramientas y soluciones tipo Business Intelligence se engloban en tres grupos:
Balanced Scorecard: constituye un modelo/solución orientada a la alta dirección, que permite medir la estrategia mediante la consecución de objetivos estratégicos, utilizando indicadores y relaciones entre estos. Adicionalmente, facilita el seguimiento de acciones estratégicas y responsabilidades sobre el cumplimiento de objetivos y puesta en marcha de acciones correctoras.
Cuadros de Mando por indicadores: representa un modelo/solución para la toma de decisiones basada en indicadores de los procesos. Este tipo de soluciones permite disponer de información muy resumida, sin elevado nivel de detalle, con capacidades visuales, alertas, indicadores gráficos, mapas, etc. A diferencia con el primer modelo de indicadores, se construye sobre los procesos de la cadena de valor de la ORGANIZACIÓN, en lugar de basarse en los objetivos estratégicos.
Sistemas para Reporting: aportan la navegación por grandes volúmenes de información, simplificando el cruce entre múltiples ejes de análisis. Estas soluciones se emplean para conocer en detalle la evolución de la actividad, centrándose principalmente en formatos de informes tabulares.

Causas que determinan la necesidad de implementar una solución de Reporting / Business Intelligence (BI) en su empresa.



  • Sistemas orientados a transacciones y no al análisis de información.
  • Proyecciones de negocio complejas y manuales.
  • Necesidad de obtener información integrada proveniente de múltiples fuentes dispersas.
  • Utilizar hojas de cálculo para consolidar la información de múltiples fuentes.
  • Pérdida de tiempo en buscar información en vez de poder analizarla.
  • Información obsoleta, con pérdida de vigencia en la toma de decisiones.
  • Sistemas heterogéneos de información.
  • Múltiples interpretaciones de cada departamento a la misma pregunta.
  • Falta de integración para monitorear  indicadores de desempeño de diversas áreas.
  • Dependencia de terceros (gente de sistemas, auxiliares, secretarias) para tener información.
  • Imposibilidad de conocer el estado de la empresa si se encuentra fuera de su oficina.




Modelamiento de datos en el dataware house

 Representación de datos
·         Modelo de datos.
·         Modelo semántico.
 El modelo entidad/relación.
·         Elementos del modelo E/R (entidades, atributos, claves y relaciones).
·         Representación gráfica del modelo E/R (diagramas E/R y notación UML).
·         Claves.
·         Entidades fuertes y entidades débiles.
·         Especialización y generalización.

Representación de datos
·         Items/entidades/0bjetos
Objetos que existen el mundo y que son distinguibles de otros (libro, autor, temas…).
·         Atributos
Propiedades asociadas a un conjunto de entidades.
·         Relaciones/conexiones/asociaciones.
Conexiones semánticas entre dos conjuntos de entidades.

Modelo de datos
Mecanismo formal para representar y manipular información de manera general y sistematica
·         Descripción de los datos
·         Operaciones
·         Reglas de integridad.

Ejemplos de modelos de datos
·         Modelo basado en grafos
·         Modelo relacional.
·         Modelo multidimensional.
·         Modelo orientado a objetos.

·         Modelo lógicos