BM Ingestión

El módulo de ingestión de Data Manager proporciona una interfaz drag & drop totalmente interactiva y automatizada para asegurar que puedes realizar fácilmente la ingestión de todas tus fuentes de datos.

    • Sin necesidad de desarrollar código para la ingestión.
    • Plantillas que se pueden personalizar basadas en la fuente de datos.
    • Las nuevas fuentes se pueden incorporar en horas en vez de semanas.
  • Interfaz drag & drop simple.

hadoop-security-vulnerabilities

Solo cinco datos son necesarios para la ingestión

Bluemetrix Data Manager requiere únicamente la siguiente información básica para realizar la ingestión de datos en Hadoop

Con esta información, Bluemetrix Data Manager realizará con éxito la ingestión de datos desde un data warehouse (EDW) o fichero a Hive en Hadoop.

Algunos de nuestros clientes

Ryanair
Toshiba
Swisscom
Pioneer
Hortonworks
Avon

Automatización de las tareas de ingestión

Durante el proceso de ingestión, Bluemetrix Data Manager automatiza las siguientes tareas:

Hadoop automation data ingest

  • El esquema de la base de datos se verifica y actualiza de forma continua para garantizar que los datos almacenados en Hadoop siempre estén sincronizados con los del data warehouse
  • Se genera código Sqoop automáticamente para:
    • Copiar el esquema del data warehouse en HDFS
    • Mover los datos a HDFS
    • Usar el esquema en HDFS para crear ficheros Ext y Orc en Hive.
    • Mover los datos de HDFS a Hive
  • Todos los tipos de datos del data warehouse original se transforman en tipos de datos compatibles con Hive
  • Los datos se limpian y normalizan para asegurar que todos los datos son compatibles para trabajar con Hive

Existen conectores disponibles para la mayoría de las fuentes de datos, incluídos:

  • Data warehouses – Oracle, Teradata, SQL Server, MySQL
  • Files – Syslogs, JSON, etc.

Cuando un conector que fuese necesario no estuviese disponible, normalmente puede ser desarrollado en dos semanas.

Trabajando con empresas de todos los sectores en Fortune 500

Finanzas, telecomunicaciones, automoción, comercio, aseguradoras, farmacéuticas, privadas y públicas. Ayudamos en todos los aspectos de su despliegue: arquitectura, infrastructura, seguridad, operaciones, desarrollo y ciencia de datos

industries

Siguiente: Transformación de datos en Hadoop

Pide más información

Para más información sobre la ingestión de datos en Hadoop, por favor deja tus datos a continuación.