Articoli del meseArticoli del mese

Articoli del mese


Stampa articolo

Articolo del Mese - Novembre 2015

Data integration self-service Miglioramento della produttività o caos totale?

Mike Ferguson by Mike Ferguson

Data integration self-service
Miglioramento della produttività o caos totale?

L’impatto sulla governance dei dati in azienda e nuove modalità di integrazione tra IT e utenti business

Negli ultimi due anni, abbiamo visto molte aziende andare oltre i data warehouse tradizionali per adottare tecnologie Big Data. Nella maggior parte dei casi il motivo è semplice: hanno bisogno di rimanere competitive, acquisendo più dati per avere nuove visioni d’insieme, per esempio sui clienti. Tra gli esempi di tali dati si possono citare gli open data delle pubbliche amministrazioni, le email inviate dai clienti, i dati dei social media, i clickstream e altro. Potrebbe anche trattarsi di avere più dati sui prodotti, sull’utilizzo dei prodotti o delle infrastrutture, come per esempio i dati dei sensori e quelli generati dalle macchine.
Tutti questi esempi riguardano dati che in genere non si trovano in un data warehouse. Inoltre, gran parte di questi nuovi dati è differente dai dati strutturati in un data warehouse. Questi nuovi dati sono spesso multi-strutturati in termini di tipi di dati, hanno grandi volumi e possono essere generati o creati a tassi molto elevati, fatto che li rende molto più difficili da catturare, preparare e analizzare. Non solo: con un numero sempre maggiore di fonti di dati, c’è un enorme bisogno di accelerare la preparazione dei dati e di contare non solo sull’IT per fare tutto.

Gestire i dati in autonomia - A questo scopo, è emersa la nuova tecnologia di integrazione dei dati self-service, rivolta principalmente ai data scientist e ai business analyst, per aiutarli a preparare e integrare i propri dati senza necessità di coinvolgere l’IT.
Sono tre le modalità principali di questa nuova tecnologia di integrazione dei dati: come strumenti stand alone di integrazione dei dati self-service; come funzionalità di integrazione dei dati self-service inserite in strumenti self service di visual discovery di BI e in Microsoft Excel; come nuova opzione per gli utenti business che fa parte di una suite di strumenti di Enterprise Information Management.
Esempi di prodotti della prima categoria sono Paxata, Tamr e Trifacta, mentre tra i vendor con funzionalità di integrazione dei dati self-service inserite in strumenti self service di visual discovery vi sono Datameer, MicroStategy e Tableau. Anche Microsoft Excel 2013 è dotato di funzionalità self-service di integrazione dei dati con PowerQuery. Infine, tra gli esempi di integrazione dei dati self-service come parte di una piattaforma EIM consolidata vi sono IBM DataWorks, Informatica Rev e in una certa misura anche SAS Data Loader for Hadoop.
Più in dettaglio, gli strumenti stand-alone di integrazione dei dati self-service sono emersi in cima a Hadoop e hanno interfacce utente semplificate per renderli più agevoli da usare e più interattivi. Per esempio, Trifacta utilizza un meccanismo denominato interazione predittiva in cui l’utente non ha bisogno di specificare nel dettaglio la trasformazione dei dati. Invece, gli utenti evidenziano le caratteristiche di interesse nella visualizzazione dei dati (come per esempio, il testo che vogliono estrarre da un documento) e, in base a ciò che un utente seleziona, i metodi predittivi suggeriscono una varietà di possibili passi successivi di trasformazione dei dati. Queste trasformazioni vengono classificate in ordine di più alta probabilità di trasformazione che l’utente intende effettuare successivamente. L’utente decide poi il miglior passo successivo e la trasformazione scelta viene poi compilata in un linguaggio che può essere eseguito in parallelo su Hadoop. Per accelerare e guidare la pulizia dei dati, gli strumenti di integrazione dei dati self-service supportano anche la profilazione automatica dei dati. Inoltre, gli utenti possono cliccare su un elenco a discesa associato a ogni colonna e selezionare la trasformazione di pulizia dei dati appropriata per migliorare il profilo di qualità dei dati. Paxata in questo caso compila trasformazioni da eseguire come codice su Spark, che esegue in parallelo su tutti i nodi di dati Hadoop dove il set di dati risiede. Anche tutte le misure adottate dagli utenti vengono registrate in modo che la traccia dei metadati sia disponibile per scoprire come sono stati trasformati i dati, permettendo anche di annullare facilmente le trasformazioni, tornando sui propri passi senza problemi.

Assemblare i dati da più fonti - Il secondo approccio per quanto riguarda l’integrazione dei dati self-service è di incorporare questa funzionalità in strumenti di visual discovery, per consentire ai business analyst di connettersi e “assemblare” i dati da più fonti per rispondere a specifiche domande di business. Tuttavia, sono state aggiunte ulteriori funzionalità in strumenti self-service di visual discovery per aiutare gli utenti a pulire e integrare i dati provenienti da molteplici fonti.
L’ultima categoria è quella delle piattaforme EIM estese per dare l’integrazione dei dati self-service agli utenti business oltre a quelli dell’IT. In questo caso, gli utenti business dispongono di una nuova interfaccia utente semplificata che offre una vasta gamma di servizi dati per gestire, raffinare, eventualmente analizzare e fornire i dati. Tra i servizi dati disponibili, vi sono il caricamento, la profilazione, la convalida, la standardizzazione, la pulizia, la trasformazione, l’integrazione, l’arricchimento, il mascheramento, la crittografia e molto altro. Sia l’IT sia gli utenti business possono definire processi per pulire e trasformare i dati, e possono essere inclusi anche gli analytics per analizzare automaticamente i dati. Inoltre, si ottiene l’esecuzione scalabile dei servizi dati con l’utilizzo della trasformazione in-memory dello streaming dati, dell’elaborazione su Hadoop dell’ELT (extract, load and transform, cioè estrazione, caricamento e trasformazione) dei big data e sui database relazionali MPP.

Governance dei dati - L’emergere dell’integrazione dati self-service ha creato una domanda ovvia: se gli utenti business fanno “da soli”, cosa significa questo in termini di impatto sulla governance dei dati in azienda? Fino a ora, la maggior parte delle iniziative di governance dei dati in azienda sono gestite da organizzazioni IT centralizzate, che per fare questo utilizzano in genere una suite di tool EIM. Qual è allora l’impatto dell’integrazione dati self-service se gli utenti business integrano i dati in proprio utilizzando strumenti completamente diversi da quelli utilizzati dai professionisti IT? Beh, è abbastanza chiaro che, anche se l’IT centralizzata fa un grande lavoro di gestione dei dati aziendali, l’impatto dell’integrazione dati self-service è che potrebbe facilmente portare al caos dei dati con ogni utente che fa la propria pulizia e integrazione dei dati. L’incoerenza potrebbe regnare e distruggere tutto quello svolto finora dalle iniziative di governance dei dati aziendali. Quindi, cosa si può fare? Stiamo per precipitare nel caos dei dati? Registrare e loggare le azioni self-service degli utenti sui dati per capire esattamente come i dati sono stati manipolati può essere naturalmente una buona cosa. Tuttavia, per gli strumenti stand-alone self-service, la traccia dei metadati rimane nel repository dello strumento di integrazione dei dati self-service e non in quello della piattaforma EIM utilizzata dall’IT. Inoltre, non ci sono standard per l’import/export dei metadati da/verso i repository della piattaforma EIM esistente, per riutilizzare le definizioni e le trasformazioni di dati tra gli strumenti EIM e quelli di integrazione dati self-service. Se una piattaforma EIM supporta sia l’IT sia il business allora abbiamo il meglio dei due mondi, ma se sono strumenti separati allora c’è bisogno di interfacce per collegare gli strumenti di integrazione dati self-service alle piattaforme EIM, in modo da supportare le iniziative di governance dei dati aziendali. Paxata è un esempio di vendor che ha aperto il proprio prodotto in modo che sia invocato dagli strumenti EIM. Però gli strumenti di integrazione dati self-service devono anche essere in grado di richiamare le azioni di integrazione dei dati sulle piattaforme EIM per riutilizzare ciò che è stato creato dall’IT.
Insomma, l’integrazione dei dati self-service è qui per rimanere. L’IT deve fornire modelli e servizi che possano essere riutilizzati dagli utenti durante la creazione di nuovi insiemi di dati integrati. Ma devono anche monitorare i dati ai quali accedono gli utenti in azienda, per comprendere quali dati sono più richiesti e per incoraggiare la partecipazione del business e dell’IT al processo di governance dei dati.

Data integration self-service Miglioramento della produttività o caos totale? - Technology Transfer

Enterprise information catalog. I requisiti per fare la scelta giusta
Mike Ferguson

La nuova era dell’analisi predittiva - Le aziende alla prova del Machine Learning
Frank Greco

Uno sguardo Agile - Per capire il passato e progettare il futuro
Arie van Bennekum

Trasformazione Agile
Se il product owner diventa un collo di bottiglia

Sander Hoogendoorn

Una Fiat o una Ferrari?
Qual è la più adatta per il business digitale?

Barry Devlin

Vincere la complessità dei dati. È l’ora dello smart data management
Mike Ferguson

Big Data e Analytics - Se il machine learning accelera anche la data science
Mike Ferguson

I dati al centro del business
Christopher Bradley

I Big Data forniscono il contesto e la ricchezza predittiva attorno alle transazioni di business Avere dati coerenti e di qualità resta fondamentale per il processo decisionale
Barry Devlin

Cosa c’è dietro l’angolo? Cinque mosse per diventare un digital leader
Jeroen Derynck

Managing information technology Gestire l’IT come un business nel business
Mitchell Weisberg

Data integration self-service Miglioramento della produttività o caos totale?
Mike Ferguson

Project manager vecchi miti e nuove realtà
Aaron Shenhar

La catena alimentare dei requisiti
Suzanne Robertson

Come diventare un’azienda data-centric
Lindy Ryan

Enterprise analytical ecosystem - Come comprendere il comportamento online dei clienti e capitalizzare il valore dei dati nell’era Big Data
Mike Ferguson

Agilità? Basta Volere
Suzanne Robertson

Ma la vostra architettura è efficace?
Mike Rosen

Se il NoSQL diventa SQL
Rick van der Lans

La data quality e l’impatto sul business
Danette McGilvray

Business analysis e regole di business By Ronald G. Ross con Gladys S.W. Lam
Ronald Ross

Usare Scrum su larga scala: cosa cambia?
Craig Larman

Le architetture per ridurre il debito tecnico
Mike Rosen

Conversando con un marziano
Suzanne Robertson

Cosa c’è di nuovo nel project management?
Aaron Shenhar

Reinventare la Business Intelligence
Barry Devlin

Il nuovo volto della business intelligence
Shaku Atre

Alla ricerca del valore tra i pomodori nell'orto
John Favaro

I big data cambiano il mercato dei Database Server
Rick van der Lans

Un “superstorm” di informazioni
Barry Devlin

I dieci step per la qualità dei dati
Danette McGilvray

Perché è meglio evitare il private cloud?
Jason Bloomberg

Leonardo da Vinci aveva ragione!
Chris Date

Mobile user experience: Come adottare una strategia sostenibile
James Hobart

Cosa significa occuparsi di architettura?
Mike Rosen

Virtualizzazione dei dati e sistemi di Business Intelligence Agili
Rick van der Lans

Modelli e linguaggi naturali, quale il modo migliore per definire i requisiti?
James Robertson

Extreme Scoping: un approccio Agile all'Edw e alla BI
Larissa Moss

BI², la Business Intelligence al quadrato
Barry Devlin

I test di regressione in ambienti legacy
Randy Rice

Le conseguenze della consumerizzazione e del Cloud
Chris Potts

Come vanno gli affari? Chiedetelo al vostro cruscotto
Shaku Atre

Organizzare team di progetto efficienti in ambienti DW/BI
Larissa Moss

Big Data, come e perché
Colin White

Business Capabilities e l'allineamento del business all'IT
Mike Rosen

Il valore della tassonomia nella ricerca delle informazioni
Zach Wahl

BI, ma il Data Warehouse è ancora necessario?
Colin White

Reinventare la Business Intelligence
Barry Devlin

Il cruscotto delle prestazioni: il nuovo volto della Business Intelligence
Shaku Atre

Modelli e processi di User acceptance testing
Randy Rice

I limiti nel gestire l'IT come un Business
Chris Potts

Le componenti fondamentali del Cloud
George Reese

Metadati e DW 2.0
Derek Strauss

BI Open Source: basso costo e alto valore?
Jos van Dongen

Semplicità e requisiti
Suzanne Robertson

Business intelligence e analisi testuale
Bill Inmon

Extreme Scoping™: approcci agili al DW e alla BI
Larissa Moss

Dalla BI a un'architettura IT di livello Enterprise
Barry Devlin

Ambiente efficiente di ricerca di informazioni
James Hobart

Il Business deve trainare la Strategia IT
Chris Potts

Web database: la questione MapReduce (seconda parte)
Colin White

Web database: la questione MapReduce
Colin White

Misura delle prestazioni. I sette comandamenti
Harry Chapman

Le dieci cose che un architetto deve fare per creare valore
Mike Rosen

Sviluppare applicazioni a prova di sicurezza
Ken van Wyk

The ECM Landscape in 2008
Alan Pelz-Sharpe

Ma chi sono gli operatori dell’informazione?
Colin White

Qualità dell’informazione e trasformazione del management
Larry English

Classificazione sistematica delle informazioni
Zach Wahl

L’uso intensivo del Web nelle applicazioni di Bi
Colin White

Enterprise Search
Theresa Regli

La forza dell'astrazione
Steve Hoberman

La strada verso una BI pervasiva
Cindi Howson

Soa, una strategia di test
Randy Rice

Verso una BI più semplice e a minor costo
Colin White

I contenuti “Killer” del Web
Gerry McGovern

Sviluppo iterativo del software per i Dw
Larissa Moss

Qualità delle Informazioni e Datawarehousing
Larry English

Lo scenario Ecm 2008
Alan Pelz-Sharpe

La nascita del Web 3.0
John Kneiling

Documentazione: il dossier del crimine
Suzanne Robertson

L’impatto del Web 2.0 sui portali delle imprese
Colin White

Le tecniche vincenti di IT Management
Ken Rau

Web 2.0
Ed Yourdon

Web di successo se si conosce il cliente
Gerry McGovern

Un approccio alla BI incentrato sui processi
Colin White

Integrare Master Data Management e BI (Parte Seconda)
Mike Ferguson

Integrare Master Data Management e BI (Parte Prima)
Mike Ferguson

Il Project Manager è una Tata
Suzanne Robertson

Web di successo se si conosce il cliente
Gerry McGovern

L'informazione personalizzata
Colin White

La Tassonomia dell'Impresa
Zach Wahl

Managed Meta Data Environment (II parte)
David Marco

Managed Meta Data Environment
David Marco

Migliorare le applicazioni dell'impresa con Web 2.0
James Hobart

La Balanced Scorecard migliora la Performance dell'IT
Harry Chapman

La fusione dei processi dell'impresa grazie a Soa (II parte)
Max Dolgicer

La fusione dei processi dell'impresa grazie a SOA (I parte)
Max Dolgicer

Volere è Potere, in Ogni Senso
Suzanne Robertson

Dimostrate con i numeri il valore dei contenuti del web
Gerry McGovern

Il Back-end della pianificazione strategica dell'It
Ken Rau

L'audit delle prescrizioni di progetto (II parte)
Suzanne Robertson

L'audit delle prescrizioni di progetto (I parte)
Suzanne Robertson

Il Processo di gestione delle informazioni
Ted Lewis

I requisiti come strumento di gestione dei progetti
Suzanne Robertson

Il futuro è nel contenuto killer del web
Gerry McGovern

Alla ricerca del valore tra i pomodori nell'orto
John Favaro

Rilevare i costi sulla base delle attività
Ken Rau

Un percorso verso l'impresa intelligente (II parte)
Mike Ferguson

Un percorso verso l'impresa intelligente (I parte)
Mike Ferguson

Il Data Store Operativo: un lavoro di martello
Claudia Imhoff

Il data warehouse orientato all'impresa
Michael Schmitz

Dieci punti chiave per realizzare balanced scorecard di successo
Harry Chapman

Content management: i contenuti al primo posto
Gerry McGovern

Applicazioni Web ad alta disponibilità
John Kneiling

Il 2004, sarà l'anno in cui abbandoneremo html?
James Hobart

La tecnologia EII ripropone il data warehousing virtuale?
Colin White

Misurare per Gestire
Ken Rau

Volere è Potere, in Ogni Senso
Suzanne Robertson

Realizzare il CPM e l'integrazione della BI
Mike Ferguson

Tutti i punti della FPA
Koni Thompson

Requiem per il Portale?
Colin White

Business Intelligence: dalla teoria alla realtà (II parte)
Shaku Atre

Business Intelligence: dalla teoria alla realtà (I parte)
Shaku Atre

I portali Corporate e di E-business: la nuova generazione del posto di lavoro
Mike Ferguson

I 10 errori da evitare nella realizzazione di un Meta Data Repository (II Parte)
David Marco

I 10 errori da evitare nella realizzazione di un Meta Data Repository (I parte)
David Marco

Usare i modelli per acquisire l'esperienza di progettazione
James Hobart

Realizzare l'Impresa Intelligente
Colin White

.NET or J2EE - Choosing the Right Web Services Framework
John Kneiling

Progettare Applicazioni Mobili di Successo
James Hobart

La Sociologia del Progetto: Identificare e Coinvolgere tutti i Partecipanti
Suzanne Robertson

Integrare la Business Intelligence nell'Impresa (II parte)
Mike Ferguson

Integrare la Business Intelligence nell'Impresa (I parte)
Mike Ferguson

L'Evoluzione del Portale di e-Business (II parte)
Colin White

L'Evoluzione del Portale di e-Business (I parte)
Colin White

Il Consulente WebEAI: Servizi Web, XML e l'Impresa
John Kneiling

Data Mining: Come Gestire le Relazioni con i Clienti Secondo i Principi del CRM
Weaver James

Articoli del mese - Technology Transfer