Articoli del meseArticoli del mese

Articoli del mese


Stampa articolo

Articolo del Mese - Giugno 2018

Vincere la complessità dei dati. È l’ora dello smart data management

Mike Ferguson by Mike Ferguson

Con Internet of Things (IoT), sia industriale sia consumer, ci si sta spostando verso un mondo in cui non sarà raro vedere milioni di fonti di dati che generano dati da raccogliere, elaborare e analizzare. In effetti, sta già accadendo in alcuni settori come il manufacturing e l’oil and gas. Quando trenta anni fa nacque il data warehousing, con la pubblicazione del noto paper di Devlin e Murphy di IBM (“An architecture for a business and information system”, Devlin and Murphy, IBM Systems Journal Vol 27, N. 1, 1988), nessuno immaginava uno scenario di centinaia di fonti di dati, per non parlare di migliaia, centinaia di migliaia o milioni. Pertanto, furono creati strumenti di estrazione, trasformazione e caricamento (ETL, exact, transform and load) per accelerare lo sviluppo di processi di pulizia, trasformazione e integrazione dei dati senza che servisse scrivere codice per elaborare i dati. Tuttavia, molti altri compiti erano ancora in larga misura manuali. Gli strumenti ETL hanno avuto molto successo nel migliorare la produttività, funzionando bene per numerose fonti di dati, ma oggi esistono differenze in termini di varietà, volume e velocità dei dati, e c’è anche stata un'esplosione nel numero di fonti di dati. Non solo: molte di queste fonti di dati provengono dall'esterno dell'azienda. Inoltre, sono ora necessari diversi tipi di carichi di lavoro analitici per produrre insight necessari, e sono emersi nuovi data store, oltre ai RDBMS analitici del data warehouse, ottimizzati per diversi tipi di analisi. Questi comprendono il cloud storage, i DBMS grafici NoSQL per l'analisi dei grafi, Hadoop e le piattaforme analytics e di streaming dati. Oggi, nelle aziende vi è un ampio spettro di attività analitiche che vanno oltre le query e il reporting nei data warehouse: vi sono il machine learning supervisionato (per esempio, per costruire modelli predittivi), quello senza supervisione (per i dati del cluster), il deep learning, l'elaborazione del linguaggio naturale, l'analisi dei grafi e lo streaming analytics. E molti di questi vengono ora eseguiti su larga scala su tecnologie come Apache Spark.

Modello relazionale a fine corsa? - Si tratta sicuramente di un progresso, ma non mancano gli effetti collaterali, tra i quali vi è la complessità in termini di gestione dei dati. Ci sono numerosi data store, sono emerse migliaia di origini dati, i file intermedi sono ovunque e i dati si spostano in tutte le direzioni, dal cloud all’on premises e dall’on premises al cloud, dal NoSQL DBMS a Hadoop, da Hadoop a RDBMS e ritorno. Una cosa è certa: l'IT non sta tenendo il passo con le richieste del business. C’è bisogno di un cambio di passo nella produttività del software di gestione dei dati, che consenta di affrontare la complessità, aprendo al contempo la possibilità di coinvolgere analisti e data scientist in modo che l'IT e le imprese lavorino in modo collaborativo sugli stessi progetti per produrre dati attendibili per l'analisi. Le attività devono essere automatizzate per integrare velocemente nuovi dati e consentire l'elaborazione rapida. Inoltre, i risultati intermedi devono essere condivisi in modo che tutti sappiano cosa è stato o non è ancora stato prodotto. Per far questo, è necessario un software di gestione dei dati che sia smart, e che sia dotato di interfacce utente per l'IT e per il business, ma soprattutto che fornisca analisi integrate per automatizzare il rilevamento dei dati e la loro profilazione, la codifica semantica, la classificazione della governance dei dati, la catalogazione dei dati e persino la mappatura dei dati.

Data lake logici - Serve un riconoscimento automatico di dati comuni come il codice fiscale, i codici postali, i nomi, gli indirizzi, le date, gli orari e così via. Serve anche la correzione automatica dei dati e un software che abbia capacità di self learning, in modo da migliorare l'automazione e la produttività. Per eliminare il backlog, bisogna consentire alle persone del business che utilizzano la preparazione self-service dei dati e ai professionisti IT che utilizzano strumenti ETL di condividere le specifiche dei metadati e i set di dati intermedi in un ambiente di sviluppo collaborativo, il tutto integrato con un catalogo di informazioni. Perché ciò accada, bisogna che un catalogo di informazioni diventi centrale per tutto, in modo che tutti sappiano quali dati vi sono e dove sono. Nei cataloghi di informazioni, la discovery automatica esamina ogni singolo dato nel tentativo di individuare automaticamente i dati e il loro significato. I modelli predefiniti, quelli definiti dall'utente e gli analytics consentono di identificare automaticamente quali sono i dati, come denominarli, come classificarli a fini di governance e se si riferiscono ad altri dati già catalogati. Questo approccio di intelligenza artificiale è rapido e ideale per aiutare a creare e gestire i cosiddetti "data lake logici” che consistono in più data store, sia on premises sia nel cloud, nei quali i dati provengono spesso da fonti di dati il cui numero aumenta rapidamente, e potrebbero non essere ben compresi. La discovery automatica consente inoltre di scoprire i dati semi-strutturati, e potenzialmente può anche derivare automaticamente dati strutturati da dati non strutturati durante il processo di scoperta, per esempio tramite l'elaborazione del linguaggio naturale. Senza questo, non c'è modo di tenere il passo con la domanda. Questo approccio significa anche che la mappatura di dati disparati in vocabolari di business comuni può anche essere automatizzata, in modo che le aziende possano basarsi sul proprio investimento in un glossario di business oppure iniziarne uno.

Policy per una governance complessa - Per affrontare la governance dei dati in un panorama dati così complesso, è necessario definire le politiche e le regole una volta per tutte e applicarle ovunque in tutti i data store in cui compaiono gli stessi dati. Quello che serve è identificare quali dati vi sono e dove sono, classificare i dati (per esempio i dati personali identificabili), quindi taggarli in modo da sapere come governarli. Il passo successivo è collegare le regole alle policy e le policy ai tag. Pertanto, se i dati sono presenti in più data store, possono essere riconosciuti automaticamente, con ogni istanza dotata dello stesso tag semantico. Inoltre, ogni istanza di dati verrebbe probabilmente classificata allo stesso modo con un tag di governance per sapere come governarlo. Pertanto, la stessa policy si applicherebbe indipendentemente da dove si trovano i dati tra diversi data store sia on premises sia nel cloud. Il catalogo dovrebbe quindi sapere dove sono i dati, essere in grado di classificarli automaticamente, utilizzando l'intelligenza artificiale o consentire la classificazione manuale dei dati. Fornirebbe quindi le politiche e le regole per governarli in modo coerente su tutti i data store eterogenei. L'unico altro requisito è quello di disporre di motori di applicazione diversi in ciascuno di questi ambienti per applicare la stessa politica in più data store o per poter passare la policy e le regole su diverse tecnologie sottostanti, tramite l’interscambio di metadati. La buona notizia è che oggi tutto questo sta iniziando a essere implementato dai vendor che si occupano di gestione dati. La tendenza va sempre più verso software di gestione dati con intelligenza artificiale. Se la abbracciamo e la mettiamo all'opera in un panorama dati sempre più complesso, abbiamo buone possibilità di abbattere i muri tra IT e business, rimanendo agili e riducendo ancora il time-to-value.

Mike Ferguson sarà il chairman del “Data & Analytics Summit 2018” di Technology Transfer il 21-22 giugno a Roma. Inoltre, presenterà il seminario “Enterprise Data Governance & Master Data Management” il 19-20 giugno.

Vincere la complessità dei dati. È l’ora dello smart data management - Technology Transfer

Uno sguardo Agile - Per capire il passato e progettare il futuro
Arie van Bennekum

Trasformazione Agile
Se il product owner diventa un collo di bottiglia

Sander Hoogendoorn

Una Fiat o una Ferrari?
Qual è la più adatta per il business digitale?

Barry Devlin

Vincere la complessità dei dati. È l’ora dello smart data management
Mike Ferguson

Big Data e Analytics - Se il machine learning accelera anche la data science
Mike Ferguson

I dati al centro del business
Christopher Bradley

I Big Data forniscono il contesto e la ricchezza predittiva attorno alle transazioni di business Avere dati coerenti e di qualità resta fondamentale per il processo decisionale
Barry Devlin

Cosa c’è dietro l’angolo? Cinque mosse per diventare un digital leader
Jeroen Derynck

Managing information technology Gestire l’IT come un business nel business
Mitchell Weisberg

Data integration self-service Miglioramento della produttività o caos totale?
Mike Ferguson

Project manager vecchi miti e nuove realtà
Aaron Shenhar

La catena alimentare dei requisiti
Suzanne Robertson

Come diventare un’azienda data-centric
Lindy Ryan

Enterprise analytical ecosystem - Come comprendere il comportamento online dei clienti e capitalizzare il valore dei dati nell’era Big Data
Mike Ferguson

Agilità? Basta Volere
Suzanne Robertson

Ma la vostra architettura è efficace?
Mike Rosen

Se il NoSQL diventa SQL
Rick van der Lans

La data quality e l’impatto sul business
Danette McGilvray

Business analysis e regole di business By Ronald G. Ross con Gladys S.W. Lam
Ronald Ross

Usare Scrum su larga scala: cosa cambia?
Craig Larman

Le architetture per ridurre il debito tecnico
Mike Rosen

Conversando con un marziano
Suzanne Robertson

Cosa c’è di nuovo nel project management?
Aaron Shenhar

Reinventare la Business Intelligence
Barry Devlin

Il nuovo volto della business intelligence
Shaku Atre

Alla ricerca del valore tra i pomodori nell'orto
John Favaro

I big data cambiano il mercato dei Database Server
Rick van der Lans

Un “superstorm” di informazioni
Barry Devlin

I dieci step per la qualità dei dati
Danette McGilvray

Perché è meglio evitare il private cloud?
Jason Bloomberg

Leonardo da Vinci aveva ragione!
Chris Date

Mobile user experience: Come adottare una strategia sostenibile
James Hobart

Cosa significa occuparsi di architettura?
Mike Rosen

Virtualizzazione dei dati e sistemi di Business Intelligence Agili
Rick van der Lans

Modelli e linguaggi naturali, quale il modo migliore per definire i requisiti?
James Robertson

Extreme Scoping: un approccio Agile all'Edw e alla BI
Larissa Moss

BI², la Business Intelligence al quadrato
Barry Devlin

I test di regressione in ambienti legacy
Randy Rice

Le conseguenze della consumerizzazione e del Cloud
Chris Potts

Come vanno gli affari? Chiedetelo al vostro cruscotto
Shaku Atre

Organizzare team di progetto efficienti in ambienti DW/BI
Larissa Moss

Big Data, come e perché
Colin White

Business Capabilities e l'allineamento del business all'IT
Mike Rosen

Il valore della tassonomia nella ricerca delle informazioni
Zach Wahl

BI, ma il Data Warehouse è ancora necessario?
Colin White

Reinventare la Business Intelligence
Barry Devlin

Il cruscotto delle prestazioni: il nuovo volto della Business Intelligence
Shaku Atre

Modelli e processi di User acceptance testing
Randy Rice

I limiti nel gestire l'IT come un Business
Chris Potts

Le componenti fondamentali del Cloud
George Reese

Metadati e DW 2.0
Derek Strauss

BI Open Source: basso costo e alto valore?
Jos van Dongen

Semplicità e requisiti
Suzanne Robertson

Business intelligence e analisi testuale
Bill Inmon

Extreme Scoping™: approcci agili al DW e alla BI
Larissa Moss

Dalla BI a un'architettura IT di livello Enterprise
Barry Devlin

Ambiente efficiente di ricerca di informazioni
James Hobart

Il Business deve trainare la Strategia IT
Chris Potts

Web database: la questione MapReduce (seconda parte)
Colin White

Web database: la questione MapReduce
Colin White

Misura delle prestazioni. I sette comandamenti
Harry Chapman

Le dieci cose che un architetto deve fare per creare valore
Mike Rosen

Sviluppare applicazioni a prova di sicurezza
Ken van Wyk

The ECM Landscape in 2008
Alan Pelz-Sharpe

Ma chi sono gli operatori dell’informazione?
Colin White

Qualità dell’informazione e trasformazione del management
Larry English

Classificazione sistematica delle informazioni
Zach Wahl

L’uso intensivo del Web nelle applicazioni di Bi
Colin White

Enterprise Search
Theresa Regli

La forza dell'astrazione
Steve Hoberman

La strada verso una BI pervasiva
Cindi Howson

Soa, una strategia di test
Randy Rice

Verso una BI più semplice e a minor costo
Colin White

I contenuti “Killer” del Web
Gerry McGovern

Sviluppo iterativo del software per i Dw
Larissa Moss

Qualità delle Informazioni e Datawarehousing
Larry English

Lo scenario Ecm 2008
Alan Pelz-Sharpe

La nascita del Web 3.0
John Kneiling

Documentazione: il dossier del crimine
Suzanne Robertson

L’impatto del Web 2.0 sui portali delle imprese
Colin White

Le tecniche vincenti di IT Management
Ken Rau

Web 2.0
Ed Yourdon

Web di successo se si conosce il cliente
Gerry McGovern

Un approccio alla BI incentrato sui processi
Colin White

Integrare Master Data Management e BI (Parte Seconda)
Mike Ferguson

Integrare Master Data Management e BI (Parte Prima)
Mike Ferguson

Il Project Manager è una Tata
Suzanne Robertson

Web di successo se si conosce il cliente
Gerry McGovern

L'informazione personalizzata
Colin White

La Tassonomia dell'Impresa
Zach Wahl

Managed Meta Data Environment (II parte)
David Marco

Managed Meta Data Environment
David Marco

Migliorare le applicazioni dell'impresa con Web 2.0
James Hobart

La Balanced Scorecard migliora la Performance dell'IT
Harry Chapman

La fusione dei processi dell'impresa grazie a Soa (II parte)
Max Dolgicer

La fusione dei processi dell'impresa grazie a SOA (I parte)
Max Dolgicer

Volere è Potere, in Ogni Senso
Suzanne Robertson

Dimostrate con i numeri il valore dei contenuti del web
Gerry McGovern

Il Back-end della pianificazione strategica dell'It
Ken Rau

L'audit delle prescrizioni di progetto (II parte)
Suzanne Robertson

L'audit delle prescrizioni di progetto (I parte)
Suzanne Robertson

Il Processo di gestione delle informazioni
Ted Lewis

I requisiti come strumento di gestione dei progetti
Suzanne Robertson

Il futuro è nel contenuto killer del web
Gerry McGovern

Alla ricerca del valore tra i pomodori nell'orto
John Favaro

Rilevare i costi sulla base delle attività
Ken Rau

Un percorso verso l'impresa intelligente (II parte)
Mike Ferguson

Un percorso verso l'impresa intelligente (I parte)
Mike Ferguson

Il Data Store Operativo: un lavoro di martello
Claudia Imhoff

Il data warehouse orientato all'impresa
Michael Schmitz

Dieci punti chiave per realizzare balanced scorecard di successo
Harry Chapman

Content management: i contenuti al primo posto
Gerry McGovern

Applicazioni Web ad alta disponibilità
John Kneiling

Il 2004, sarà l'anno in cui abbandoneremo html?
James Hobart

La tecnologia EII ripropone il data warehousing virtuale?
Colin White

Misurare per Gestire
Ken Rau

Volere è Potere, in Ogni Senso
Suzanne Robertson

Realizzare il CPM e l'integrazione della BI
Mike Ferguson

Tutti i punti della FPA
Koni Thompson

Requiem per il Portale?
Colin White

Business Intelligence: dalla teoria alla realtà (II parte)
Shaku Atre

Business Intelligence: dalla teoria alla realtà (I parte)
Shaku Atre

I portali Corporate e di E-business: la nuova generazione del posto di lavoro
Mike Ferguson

I 10 errori da evitare nella realizzazione di un Meta Data Repository (II Parte)
David Marco

I 10 errori da evitare nella realizzazione di un Meta Data Repository (I parte)
David Marco

Usare i modelli per acquisire l'esperienza di progettazione
James Hobart

Realizzare l'Impresa Intelligente
Colin White

.NET or J2EE - Choosing the Right Web Services Framework
John Kneiling

Progettare Applicazioni Mobili di Successo
James Hobart

La Sociologia del Progetto: Identificare e Coinvolgere tutti i Partecipanti
Suzanne Robertson

Integrare la Business Intelligence nell'Impresa (II parte)
Mike Ferguson

Integrare la Business Intelligence nell'Impresa (I parte)
Mike Ferguson

L'Evoluzione del Portale di e-Business (II parte)
Colin White

L'Evoluzione del Portale di e-Business (I parte)
Colin White

Il Consulente WebEAI: Servizi Web, XML e l'Impresa
John Kneiling

Data Mining: Come Gestire le Relazioni con i Clienti Secondo i Principi del CRM
Weaver James

Articoli del mese - Technology Transfer