Historia de la minería de Datos.
Historia de la minería de Datos.
La minería de datos es algo que empieza por los alrededores de los años sesenta, ya los estadísticos manejaban términos como Data Fishing, Data Mining (DM) o Data Archaeology con la idea de encontrar correlaciones sin una Definición previa de bases de datos.En los principios de los años ochenta, Rakesh Agrawal, GioWiederhold, Robert Blum y Gregory Piatetsky-Shapiro y otros, empezaron a consolidar los términos de Minería de Datos y KDD.
Estas tecnologías han sido una buena herramienta para personas que se desenvuelven en el ámbito de los negocios y académico.
Descubrimiento del Conocimiento (KDD) : “El Proceso de minería”
Proceso de Extracción del
Conocimiento (KnowledgeDiscovery in Databases (KDD))
El proceso KDD lo podemos definir como “el proceso no trivial de identificar patrones válidos, novedosos y potencialmente útiles y en última instancia, comprensible a partir de los datos”. Este proceso también es conocido por diferentes nombres que podrían ser sinónimos del mismo, entre los cuales se encuentran Data Archeology ,DependencyFunctionAnalysis, InformationRecollect, Pattern Data Analysis o KnowledgeFishing.
KDD también supone la convergencia de distintas disciplinas de investigación; podemos nombrar algunas tales como el aprendizaje automático, estadística, inteligencia artificial, sistemas de gestión de base de datos, técnicas de visualización de datos, los sistemas para el apoyo a la toma de decisión (DSS) o la recuperación de información, entre otras.
¿Cómo surge?
Con la necesidad de poder manejar
grandes cantidades de datos, surge un área de estudio, que se denomina descubrimiento
del conocimiento en grandes volúmenes de datos (KDD).
Técnicas minería de datos.
¿Qué tipo de patrones puede
encontrar la Minería de Datos?.
Dependiendo del conjunto de datos a analizar y del tipo de patrones que se quiera encontrar en el proceso a utilizar.Las técnicas de Minería de Datos pueden ser descriptivas o predictivas. Las descriptivas caracterizan las propiedades generales de los datos en una base de datos y por el contrario, la predictiva realiza inferencias en los datos para poder realizar predicciones.
Dependiendo del conjunto de datos a analizar y del tipo de patrones que se quiera encontrar en el proceso a utilizar.Las técnicas de Minería de Datos pueden ser descriptivas o predictivas. Las descriptivas caracterizan las propiedades generales de los datos en una base de datos y por el contrario, la predictiva realiza inferencias en los datos para poder realizar predicciones.
Técnicas Descriptivas.
Descripción de
clases:Hay tres formas de ver este punto, la primera se
denomina
Caracterización de los datos
(Data Caracterizatión), el cuál realiza un resumen de las características
generales de una clase particular de datos; los resultados suelen representarse
en términos de reglas de caracterización. La segunda es la discriminación de
datos (Data Discrimination), que es una comparación entre las características
generales de los objetos de una clase respecto a las de otro
conjunto contrastante. Finalmente, también se puede aplicar una combinación de
ambas.
Análisis de asociación: Es el descubrimiento de
reglas de asociación que muestran condiciones del tipo atributo-valor que ocurre
con frecuencia dentro de un conjunto de datos.
La minería mediante reglas de
asociación es el proceso de búsqueda interesante de correlaciones entre un
conjunto grande de datos. El descubrimiento de reglas
de asociación en grandes volúmenes de transacciones de negocios, puede facilitar
el proceso de toma de decisiones.
KDD y minería.
Es importante discutir sobre la
diferencia entre KDD y Minería de Datos, ya que muchos estudios e investigaciones
dan por hecho que ambos son sinónimos. Hay muchos casos que no es posible
identificar o distinguir claramente la etapa de Minería de Datos dentro del
Proceso de Descubrimiento, porque a veces no es necesario realizar todas y cada
una de las etapas del mismo, como pre procesamiento, limpieza de datos, etc.
Entonces, la Minería de Datos la
podemos definir como una etapa particular en el proceso KDD, donde la
Minería de Datos aplica algoritmos específicos o técnicas específicas para la
extracción de patrones de los datos, diferenciándolo del proceso KDD que ya
antes a sido definido.
Modelo de datos y búsqueda de reglas
Modelo de datos
La preparación de los
datos puede generar un conjunto mas pequeños de estos para mejorar la
eficiencia del proceso de minería.
Dentro de esta etapa
del pre procesamiento de los datos se realizan procesos de limpieza, como
eliminar los datos irrelevantes , limpiar el ruido de los datos y datos
inconsistentes de los archivos. Todo este proceso se realiza si se tiene un
archivo en “bruto”(sacado directamente de un servidor web) o verificar si esta
listo para su análisis .
Para la extracción de
las reglas de asociación difusas en usuario puede determinar cuales son los
ítems de las transacciones que más le interesa y asi poder encontrar reglas
relacionadas solamente con esos ítems.
*( ítems :IP , host,
fecha/hora , páginas visitadas , páginas referenciadas entre otras )
*( transacciones:
posibles tablas transaccionales ejemplo :paginas visitadas/paginas
referenciadas , Fecha/hora con paginas visitadas ,etc.)
Programas especializados en Mineria
Orange es una suite de software para minería de base de datos y aprendizaje automático basado en componentes que cuenta con un fácil y potente, rápido y versátil front-end (inicio de un proceso) de programación visual para el análisis exploratorio de datos y visualización, y librerías para Python (lenguaje de programación interpretado) y secuencias de comando. Contiene un completo juego de componentes para pre-procesamiento de datos, característica de puntuación y filtrado, modelado, evaluación del modelo, y técnicas de exploración. Está escrito en C++ y Python, y su interfaz gráfica de usuario se basa en la plataforma cruzada del framework Qt.
RapidMiner, antes llamado YALE, es un ambiente de experimentos en aprendizaje automático y minería de datos que se utiliza para tareas de minería de datos tanto en investigación como en el mundo real.
Minería de Datos.
La Minería de Datos es la etapa más importante del KDD; es la que integra los procesos
de aprendizaje y métodos
estadísticos para la obtención de hipótesis de patrones y modelos.
Podríamos decir que Minería de datos es el proceso de extracción de información o conocimiento de un conjunto grande de datos. Formalizando un poco más, lo podemos definir como una etapa particular en el proceso KDD, donde la Minería de Datos aplica algoritmos específicos o técnicas específicas para la extracción de patrones de los datos.
Crean la mayor base de datos en internet sobre autoras del Holocausto
Investigadores de la Universidad de Alicante y de la Universidad de Granada trabajan en el mayor Lexicón sobre autoras del Holocausto creado hasta ahora, una base de datos con información detallada sobre más de 500 autoras que estará lista en 2012. La iniciativa forma parte del Proyecto DIGEC (Discriminación, genocidio y exterminio cultural: un estudio sobre la literatura del Holocausto y la recuperación de la memoria).
Los investigadores de la Universidad de Alicante (UA), José Luis Arráez Llobregat y Amelia Peral Crespo, están elaborando el mayor Lexicón sobre autoras del Holocausto que se haya creado. El Lexicón es una base de datos que, por medio de fichas, recoge toda la información sobre más de 500 autoras. Cada una de las fichas cuenta con una galería fotográfica de la autora, así como los principales datos biográficos y bibliográficos, situándola en el contexto de la Segunda Guerra Mundial y el Holocausto, antes, durante o después.
Minería de Texto.
La Minería de Texto difiere de Minería de Datos en
el trato de la información, donde la información textual difiere de la estructurada
principalmente en la ausencia de estructura o en la compleja estructura
implícita del texto. De este modo, se hace necesario buscar alguna
representación intermedia del texto que pueda ayudar a la aplicación de
técnicas de descubrimiento, que nos permitan extraer patrones útiles.
La Minería de Texto implica a diversas áreas tales
como la recuperación de información, extracción de información, tecnologías de
bases de datos, aprendizaje de bases de datos, por nombrar algunas.
Etapas de la minería de texto.
Para poder descubrir conocimiento en texto, se debe pasar por algunas etapas importantes en este proceso, como es la etapa del pre-procesamiento que le da al texto una Forma Intermedia (FI) que permita ser tratada computacionalmente, luego aplicar alguna técnica de Minería de Texto y finalmente la visualización de los resultados. (Como se ilustra en la siguiente figura).
¿Qué
ES SAP (Systeme, Anwendungen und Produkte)?
Lo que se traduce al español como Sistemas, Aplicaciones y Productos.
SAP es una empresa con sede en Walldorf - Alemania, que se dedica a la
producción de software.
Lo que se traduce al español como Sistemas, Aplicaciones y Productos.
Minería web.
La Minería Web
lo podemos definir formalmente como” el proceso global de descubrir información o conocimiento potencialmente útil y previamente desconocido a partir de datos de la Web”.La explotación de la información que se encuentra en la Web se puede realizar de diferentes puntos de vista. Se puede analizar a través del contenido que podemos extraer o encontrar en la Web.
Minería Web de Contenido: este punto de vista es enfocado principalmente en la extracción de conocimiento sobre el contenido de documentos.
Minería Web de Estructura: Otra manera de inferir conocimiento es a través de la organización de la Web o de las relaciones entre los enlaces; esta forma de descubrir conocimiento de la estructura de la Web.
Minería Web de Uso: el proceso de extracción de patrones interesantes de la información de navegación o del tráfico del usuario en la Web.
Minería web de Estructura.
La Minería Web de Estructura
Es el proceso que analiza la estructura de la información usada,
que describe el contenido de la Web.
Es el proceso que analiza la estructura de la información usada,
que describe el contenido de la Web.
La estructura de la información de la Web puede ser clasificado como: intra-página e inter-página.
·
inter-página, puede analizarse a través de
los hiperenlaces y a menudo se llama Web asociado o enlazado a estructuras. En
este tipo de minería, el enlace de
estructura puede representarse como un gráfico, en el cuál los
documentos son los nodos y los hiperenlaces son las aristas del gráfico.
·
intra-página refiere a las estructuras
internas de los actuales tipos de documentos de la Web como HTML o XML, los
cuales están usualmente representados por árboles.
Minería web de Contenido.
La Minería Web de Contenido es un proceso automático que va más allá de la extracción de palabras claves, ya que los datos se analizan para poder generar información de los documentos que se encuentran en la Web, ya sea, artículos, material audiovisual, documentos HTML, entre otros.
Las técnicas que se ocupan en esta rama de la
Minería Web, varía dependiendo del contenido a tratar: técnicas de recuperación
de información, fundamentalmente técnicas estadísticas y lingüísticas,
hipertexto, minería de marcado (la información de las marcas contiene
información como por ejemplo HTML: secciones, tablas, etc., minería multimedia
(para imágenes, audio, videos) y técnicas de Minería de texto algunas de las
cuales se aplican a todo tipo de minerías.
Tipos de Minería Web.
El término de Minería Web es generalmente usado en
tres caminos, Minería Web de Contenido, Minería Web de Estructura y Minería Web
de Uso.
Técnicas de minería web.
Algunas de las Técnicas más utilizadas son :
Reglas de asociación: Esta técnica es utilizada para
descubrir la correlación entre los accesos de los clientes a varios archivos
disponibles en el servidor. Cada transacción está compuesta por un conjunto de
URL accedidas por el cliente en una visita al servidor.
Path analysis: Este análisis es una extensión
de un modelo de regresión, usada para probar las correlaciones entre dos o más
modelos causales que están siendo comparados. Esta técnica principalmente se
utiliza para el análisis de caminos de navegación.
Secuencias de patrones: Esta técnica se basa en
descubrir patrones en los cuales la presencia de un conjunto de ítems es
seguido por otro ítem en orden temporal. Analizando estos datos, se puede
determinar el comportamiento de los usuarios con respecto al tiempo.
Minería web y el clustering
Una de las técnicas mas utilizadas en la minería web es el clustering (la técnica fue aplicada sobre las sesiones de usuarios obtenidas en el pre procedimiento .
Otro estudio de
clustering es el que propone una metodología dimensionable de clustering inspirada
en el sistema inmunológico natural con el poder de aprender continuamente y
adaptarse a patrones entrantes nuevos . los mecanismos inteligentes de búsqueda
son cruciales en la minería web por la naturaleza combinatoria grande de optimización
de muchos problemas .un sistema inmunológico artificial es como un ser humano
donde : el servidor web juega el papel de “cuerpo humano” y las demandas múltiples entrantes desempeñan
el papel de virus/antígeno/bacteria que necesitan ser detectados por la técnica
de clustering
Clustering en la minería Web de uso
En el ámbito de la
Web podemos decir que se han hecho diversos estudios orientados principalmente
a realizar agrupamientos por contenido. Por ejemplo, cuando hacemos búsquedas
sobre algún tema lo hacemos con algún buscador de internet. Estos sistemas de
búsqueda por temas son denominados motores de búsqueda, los cuales indexan
(registran ordenadamente) archivos almacenados en los servidores Web, de los
cuales podemos citar al sistema Grooker.
Grooker es un sistema de búsqueda que permite realizar búsquedas en la base de datos de Yahoo!, en la tienda de libros Amazon y en Librería Digital ACM. Los resultados se agrupan por similitud de contenidos y también se pueden presentar de forma gráfica, en forma de esferas (clusters) agrupando temáticas.
En el caso de la Minería
Web de Uso, los elementos a agrupar pueden ser las páginas Web y las sesiones
de usuarios, con el objetivo de poder realizar un estudio o análisis
demográfico.
Procesamiento de datos en minería stream.
1
. El requisito ilimitado de memoria debido al rasgo continuó de los elementos entrantes de datos.
. El requisito ilimitado de memoria debido al rasgo continuó de los elementos entrantes de datos.
2
. Los algoritmos de minería toman varios pasos por encima de datos stream y esto no es aplicable por el rasgo alto de tasa de datos de los stream.
. Los algoritmos de minería toman varios pasos por encima de datos stream y esto no es aplicable por el rasgo alto de tasa de datos de los stream.
3
. Datos stream generados de sensores y otras fuentes inalámbricas de datos crean un desafío real para transferir estas cantidades inmensas de elementos de datos para un servidor central para ser analizadas.
. Datos stream generados de sensores y otras fuentes inalámbricas de datos crean un desafío real para transferir estas cantidades inmensas de elementos de datos para un servidor central para ser analizadas.
Fundadores del data warehouse
En el método de Diseño, fue Ralph Kimball quien, en 1997, fijó las bases de diseño del Modelo Dimensional que se debería usar al diseñar un Data Warehouse, en su artículo “A Dimensional Modeling Manifesto.
El Modelo Dimensional usa la misma técnica de representación que el Modelo Entidad Relación original de Peter Chen, es decir, entidades, relaciones y atributos, lo normal, vaya. Lo que cambia radicalmente es la forma de entender los datos que deben ser modelados, la forma de organizarlos en tablas relacionales para construir un Data Warehouse efectivo.
Minería stream. (Contemporáneo)
Minería Stream
Se puede definir como “un proceso de extracción del conocimiento de estructuras de registros rápidos y continuos de datos. Los ejemplos de datos streams incluyen tráfico de la red de computadoras, conversaciones telefónicas, transacciones ATM, búsquedas web y datos de sensores.
Se puede definir como “un proceso de extracción del conocimiento de estructuras de registros rápidos y continuos de datos. Los ejemplos de datos streams incluyen tráfico de la red de computadoras, conversaciones telefónicas, transacciones ATM, búsquedas web y datos de sensores.
La mayoría de los streams liberan datos en orden
arbitrario, los cuales están intrínsecamente
relacionados con un aspecto temporal, esto quiere
decir que los patrones que
son descubiertos en ellos siguen una tendencia dinámica,
y por lo tanto son diferentes a
los conjuntos de datos estáticos tradicionales que
son muy grandes.
Fuentes de bases de datos
Existen diversos tipos de bases de datos entre ellos se consideran :
-Bases de datos relacionales :es una base de datos que cumple con el modelo relacional, el cual es el modelo más utilizado en la actualidad para implementar bases de datos ya planificadas. Permiten establecer interconexiones (relaciones) entre los datos (que están guardados en tablas), y a través de dichas conexiones relacionar los datos de ambas tablas, de ahí proviene su nombre: "Modelo Relacional"-Bases de datos multidimensionales (DW):Las bases de datos multidimensionales se utilizan principalmente para crear aplicaciones OLAP y pueden verse como bases de datos de una sola tabla, su peculiaridad es que por cada dimensión tienen un campo (o columna), y otro campo por cada métrica o hecho, es decir estas tablas almacenan registros cuyos campos son de la forma:
{(d_1, d_2, d_3, ..., f_1, f_2, f_3, ...)}
Suscribirse a:
Entradas (Atom)