Articoli del meseArticoli del mese

Articoli del mese


Stampa articolo

Articolo del Mese - Aprile 2007

Integrare Master Data Management e BI (Parte Prima)

Mike Ferguson by Mike Ferguson

Nel corso degli ultimi sei mesi si è parlato fin troppo, talvolta anche in maniera opprimente, delle tecnologie di Master data management (Mdm), ovvero della gestione delle informazioni fondamentali per l'impresa. Inoltre, sembra esservi ancora molta confusione sulla natura dell'Mdm e su come si integri con i diversi sistemi operativi e analitici dedicati alle diverse linee di Business all'interno dell'organizzazione. Questo articolo in due parti si focalizzerà soprattutto sull'integrazione dell' Mdm con la Business Intelligence (BI). Nella prima parte, indicherò una definizione di Master data management e dei tipi di sistemi di Mdm esistenti, mentre la seconda parte dell'articolo è dedicata in particolare alla questione di come l'Mdm possa integrarsi con i sistemi di BI. Esaminerò anche quale genere di impatto avrà l'introduzione di un sistema Mdm sulle pratiche di datawarehousing e di BI esistenti.

Che cos'è il Master Data Management?

Il Master data management è un insieme di processi, politiche, servizi e tecnologie utilizzate per creare, mantenere e gestire i dati associati con le entità fondamentali del business di una società, come il System of record (Sor) dell'impresa, definiti dati master. Le entità fondamentali comprendono la gestione dei clienti, dei fornitori, dei dipendenti, del patrimonio, e così via. Tenete conto che l'Mdm non è associato con dati relativi a transazioni come, per esempio, il trattamento degli ordini.

Sia che costruiate il vostro sistema Mdm all'interno dell'impresa o che lo acquistiate da un venditore sul mercato, la soluzione prescelta dovrà essere conforme a una serie di requisiti fondamentali. Questi comprendono le capacità di:

  •   Definire e mantenere in un repository i metadati relativi alle entità dei dati master.
  •   Acquisizione, verifica, unicità e integrazione di questi dati in un master data store centralizzato.
  •   Offrire un set comune di servizi condivisi sui dati master per applicazioni, processi e portali da utilizzare per l'accesso e la gestione dei servizi Mdm relativi alle entità di dati master, come i System of entry (Soe).
  •   Gestire le gerarchie di dati master, compresa la storia delle modifiche e i cambiamenti di versione delle gerarchie stesse.
  •   Gestire la sincronizzazione delle modifiche dei dati master nei confronti di tutti i sistemi applicativi e analitici che utilizzano insiemi o sottoinsiemi completi di dati di questa natura.

Come definizione e mantenimento dei metadati nella lista su indicata, intendo che debba esistere all'interno dell'impresa un set standard di nomi e di definizioni di dati che descrivano ciascuna entità di dati master peculiare dell'impresa stessa. In aggiunta, dovranno essere definiti i percorsi di acquisizione di dati master "dispersi" all'interno di sistemi diversi, per farli confluire in una definizione standard.

Quest' ultimo punto, che in alcuni casi può risultare molto critico, mette in luce la necessità di avvalersi di strumenti che aiutino ad automatizzare l'identificazione di sottoinsiemi di dati master"esterni"e di identificarne le relazioni reciproche, in modo da determinare l'esistenza di definizioni multiple per lo stesso dato. La buona notizia è che stiamo assistendo all'emergere di strumenti di questo tipo, offerti da venditori come DataFlux, IBM, Informatica e Sypherlink.

Perché abbiamo bisogno di sistemi Mdm?

Perché l'Mdm è così importante? Una delle ragioni fondamentali per acquisire il controllo dei dati master è il conseguente miglioramento delle performance dell'impresa. Attualmente, molte società si rendono conto che i loro dati fondamentali sono pesantemente duplicati e dispersi all'interno di molte linee di sistemi dedicati a operatività diverse. Se considerate semplicemente l'acquisizione degli ordini e la fatturazione come i due sistemi di base per ogni impresa, vi accorgerete che i dati relativi ai clienti, per esempio, molto probabilmente risulteranno duplicati in entrambi i sistemi. Ma quale dei due sarà master e farà fede rispetto all'altro? Per esempio, è possibile inserire nuovi clienti e mantenere i dati di ciascuno di essi su entrambi i sistemi? Ancora, in caso di modifiche, come risultano sincronizzati i dati associati alle entità fondamentali considerate dai due sistemi?

Se avete sottoinsiemi (oppure alcuni attributi) di dati master di un'entità di business residenti in sistemi multipli, probabilmente conoscete bene i problemi che comportano, non ultimo dei quali è quello quasi maniacale dell'identità. Ogni sistema possiede un identificatore diverso per il medesimo dato master. Come esempio, prendiamo le transazioni bancarie e la vostra posizione come cliente titolare di una carta di credito Visa, di una carta prepagata Visa, di una carta di credito Master Card, di un mutuo immobiliare e di un prestito personale. In aggiunta a questo, supponiamo che il cliente sia un impiegato della vostra banca. Considerando una situazione di questo tipo, non bisogna essere uno scienziato per capire immediatamente che a ogni singolo cliente viene attribuito un identificatore diverso per ognuno dei sistemi che contengono i suoi dati. In questo caso, si tratta di tutti i sistemi di elaborazione legati alle linee di prodotto della banca (naturalmente per quelle che vengono utilizzate), oltre che nel sistema delle Risorse umane. A questo punto, un aspetto evidente è che un eventuale sistema Mdm ha bisogno del supporto di un Global Identifier, ovvero di un sistema di identificazione globale (talvolta indicato come chiave di accesso universale). Tutto questo vi sembra familiare? Posso già sentire il vostro commento: "Sì, sì...questo accadeva anni fa con il mio datawarehouse...".

Ricordiamo per un momento questa considerazione perché ci tornerò sopra.

Figura 1

Continuando su questo argomento, è anche chiaro che tutti gli identificatori diversi debbono trovare una corrispondenza nell'indice costituito dall'identificatore globale, per consentire la costruzione di una versione univoca della situazione del cliente. Naturalmente, questo non è sufficiente per risolvere il problema, perché non è solo l'identificatore a essere diverso in ogni sistema, ma anche tutte le definizioni e attributi dei dati e dei codici possono risultare diversi.

Figura 2

In altri termini, avete bisogno di un insieme di nomi e di definizioni di dati per tutti gli attributi che descrivano ciascuna entità di dati master dell'impresa. In aggiunta, per ottenere una visione univoca di un'entità di dati master avete bisogno di avere un identificatore globale, un vocabolario condiviso dei dati master (Sbv-Shared business vocabulary), oltre a conoscere tutti gli indici dei dati relativi ai diversi sistemi con riferimento a definizioni comuni dei dati master stessi.

Figura 3

Per quelli di voi esperti nel datawarehousing, presumo che tutto questo risulti molto familiare e che qualcuno di voi stia già costruendo un sistema di dati dimensionale in un sistema di datawarehousing. Tuttavia, anche se avete integrato i dati dei clienti e di prodotti in un sistema di datawarehousing, un sistema Mdm è molto di più, perché abbraccia l'intera impresa. Il problema reale risiede ancora nei sistemi diversi per l'operatività dell'organizzazione. Considerando che i dati master spesso risultano pesantemente suddivisi in termini operativi e che tipicamente vengono acquisiti e gestiti all'interno di più di un sistema operativo interno (Soe), il problema della sincronizzazione dei dati master spesso è un intrico. Tutti ci rendiamo conto di quanto questo complichi ogni cosa, perché in questo labirinto e intrico di interfacce il flusso dei dati corre tra i sistemi in ogni genere di direzione, in primo luogo per garantirne la sincronizzazione. Questo avviene in ambiente batch oppure tramite i messaggi scambiati tra le applicazioni e, naturalmente, utilizzando il colpevole principale: i fogli elettronici allegati alle e-mail! Ho l'impressione che quest'ultimo punto tocchi una corda alla quale pochi di voi sono sensibili. Ebbene, gente, la mania di Excel è ancora viva e molto presente.

Anche se abbiamo sostituito tutte le interfacce batch con altre basate su messaggi elettronici utilizzando prodotti di messaggeria diffusi sul mercato, (come hanno tentato di fare molte imprese nel corso degli anni trascorsi), questo non risolve ancora il problema che consiste, naturalmente, nella mancanza di un hub comune per i dati master, ovvero la mancanza di un master data store quando esistano singoli sistemi di record completi (Sor-System of record) per ciascuna entità fondamentale dell'impresa.

Perciò, attualmente molte società stanno cercando di creare (se già non lo hanno fatto) i rispettivi master data store catturando, verificando e integrando sottoinsiemi di dati master provenienti dalle diverse linee operative del sistema informativo dell'impresa (Figura 2), utilizzando gli strumenti compresi in una suite di data management.

            Figura 4          

Ancora, gli hub per i dati di un sistema Mdm possono essere costruiti all?interno oppure acquistati sul mercato. In entrambi i casi, le imprese si scontrano con il problema dei sistemi di ingresso multipli (Soe). Sarebbe molto più semplice se i diversi Soe potessero condividere servizi comuni per l'accesso e il mantenimento di dati master comuni.

Figura 5

Anche se questo sembra una cosa da fare ovvia, il problema è che l'operazione può richiedere modifiche alle applicazioni per invocare i servizi relativi ai dati master, se questi vengono consolidati all'interno di un master data store. Mentre una tale soluzione può essere realizzata facilmente per applicazioni realizzate allìinterno, risulta invece più difficile nel caso di applicazioni a pacchetto. Questo problema può essere risolto se il dato master integrato è mantenuto tramite un singolo sistema basato su di portale e dedicato all'acquisizione, in modo che le modifiche dei dati master vengono così rese disponibili per gli altri sistemi che ne hanno bisogno.

Figura 6

Un approccio di questo tipo funziona molto bene all'interno di un'architettura orientata ai servizi (Soa - Service-oriented architecture).

A questo punto, supponendo di aver compreso tutte queste argomentazioni circa la necessità di una soluzione Mdm, la questione è: come realizzarla? Naturalmente, esistono due approcci alternativi - costruirla oppure acquistarla sul mercato.

Le imprese verosimilmente sono inclini a realizzarla all'interno, quando dispongano già di data store e/o di un sistema dominante che mantiene un insieme integrato e significativo di dati master e che, a sua volta, risulti condiviso almeno da alcuni tra i sistemi dedicati alle linee applicative principali della società. Questo può evitare la creazione di un ulteriore data store. Alternativamente, potete acquistare la tecnologia Mdm sul mercato per realizzare una soluzione Mdm con maggiore rapidità. Naturalmente, esistono diversi tipi di sistemi Mdm da poter acquistare, che si possono suddividere in: sistemi Mdm basati sulla registrazione; sistemi Mdm basati su hub; sistemi Mdm d'impresa.

Le differenze tra questi tre tipi di sistemi sono indicate sinteticamente qui di seguito.

I sistemi Mdm basati sulla registrazione utilizzano identificatori globali (Global identifiers) e una federazione dei dati per creare un sistema di registrazioni di dati master virtuale (Sor-System of record). Perciò, gli elementi dei dati master presenti nei diversi sistemi sottostanti vengono assemblati on-demand in real-time, con lo scopo di produrre dinamicamente record integrati di dati master. Sotto molti aspetti, questi sistemi sono molto simili agli strumenti di intelligence definiti come EII tools e, in alcuni casi, esiste la possibilità di una partnership con i venditori EII per consentire questa visione virtuale dei dati master. Sono anche simili ai prodotti per la qualità dei dati che, a loro volta, possono fornire servizi di reperimento on demand per catturare i dati e creare versioni integrate singole dei record contenenti i dati master.

Questo tipo di sistemi supporta molteplici fonti di dati e spesso dispone di un'interfaccia verso servizi Web, offrendo così servizi on-demand di integrazione dei dati master. I dati master on-demand possono essere richiesti da:

  • applicazioni e portali;
  • strumenti di reporting e di analisi;
  • strumenti Etl che hanno bisogno di dati master per riempire spazi dimensionali in un datawarehouse, oppure in un data mart.

I sistemi Mdm basati sulla registrazione usano anche servizi per la qualità dei dati per verificare e certificare i dati master. Infine, nell'approccio mediante la registrazione, i sistemi per l'operatività dell'impresa restano ancora come sistemi d'ingresso (SOES) per i dati master.

I sistemi Mdm basati su hub propagano le modifiche ai dati master tra i diversi sistemi dell'operatività dell'impresa e possono mantenere un set integrato e completo di dati master in un master data store, nella forma di sistema di record (SOES). Questo significa che i dati master e le loro modifiche possono essere integrati in un hub Mdm. Ciascun hub contiene i dati master per una singola entità di dati master. Alcuni sistemi Mdm basati su hub forniscono anche un'integrazione federativa tra l'hub Mdm e altri sistemi, per creare un Sor virtuale, analogamente a quanto avviene con l'approccio basato sulla registrazione. Questo funziona se l'hub non rappresenta un Sor completo. Ancora una volta, con un sistema Mdm basato su hub, i sistemi applicativi legati alle diverse linee di business dell'impresa rimangono ancora i sistemi d'ingresso (SOES).

Figura 7

Le soluzioni d'impresa per la gestione dei dati master sono più allargate rispetto agli hub Mdm. Questi sistemi sono in cima alla classifica perché costituiscono sia il sistema di ingresso (SOES) che il sistema dei record (Sor) per i dati master. Inoltre, offrono l'integrazione dei dati master e la loro sincronizzazione, così come un set completamente integrato di dati master in un master data store. Quest'ultimo supporta entità multiple di dati master e le modifiche vengono mantenute e diffuse ad altre applicazioni operative e ad altri datawarehouse. In aggiunta, i sistemi Mdm d'impresa vanno oltre i dati master applicativi integrando al loro interno i dati master operativi, le relative informazioni di BI e i contenuti non strutturati correlati, ovvero tutte le informazioni associate a un'istanza per un'entità fondamentale come, per esempio, un cliente, un prodotto e così via. Tutte le entità vengono definite all'interno di un vocabolario condiviso dell'impresa (Sbv) delle denominazioni e definizioni dei dati comuni all'intera organizzazione. In aggiunta, vengono offerti una serie di servizi per la qualità dei dati dedicati alla valutazione e verifica dei dati master. Esistono servizi Web comuni per l'accesso e il mantenimento dei dati master e viene tenuta traccia di ogni cmbiamento.

  • I venditori sui mercati dei sistemi Mdm basati rispettivamente su hub e d'impresa comprendono: FullTilt Perfect Product Suite;
  • Hyperion Mdm; I2 PIM ;
  • IBM WebSphere Product Center and Customer Center;
  • Kalido 8M;
  • ObjectRiver Mdm;
  • Oracle Customer and PIM data hubs and Sunopsis AIP;
  • SAP NetWeaver Mdm;
  • Siperian Hub,
  •  Master Reference Manager,
  • Hierarchy Manager and Activity Manager;
  • Stratature Enterprise Dimension Manager;
  • Teradata Mdm.

Integrare Master Data Management e BI (Parte Prima) - Technology Transfer

Enterprise information catalog. I requisiti per fare la scelta giusta
Mike Ferguson

La nuova era dell’analisi predittiva - Le aziende alla prova del Machine Learning
Frank Greco

Uno sguardo Agile - Per capire il passato e progettare il futuro
Arie van Bennekum

Trasformazione Agile
Se il product owner diventa un collo di bottiglia

Sander Hoogendoorn

Una Fiat o una Ferrari?
Qual è la più adatta per il business digitale?

Barry Devlin

Vincere la complessità dei dati. È l’ora dello smart data management
Mike Ferguson

Big Data e Analytics - Se il machine learning accelera anche la data science
Mike Ferguson

I dati al centro del business
Christopher Bradley

I Big Data forniscono il contesto e la ricchezza predittiva attorno alle transazioni di business Avere dati coerenti e di qualità resta fondamentale per il processo decisionale
Barry Devlin

Cosa c’è dietro l’angolo? Cinque mosse per diventare un digital leader
Jeroen Derynck

Managing information technology Gestire l’IT come un business nel business
Mitchell Weisberg

Data integration self-service Miglioramento della produttività o caos totale?
Mike Ferguson

Project manager vecchi miti e nuove realtà
Aaron Shenhar

La catena alimentare dei requisiti
Suzanne Robertson

Come diventare un’azienda data-centric
Lindy Ryan

Enterprise analytical ecosystem - Come comprendere il comportamento online dei clienti e capitalizzare il valore dei dati nell’era Big Data
Mike Ferguson

Agilità? Basta Volere
Suzanne Robertson

Ma la vostra architettura è efficace?
Mike Rosen

Se il NoSQL diventa SQL
Rick van der Lans

La data quality e l’impatto sul business
Danette McGilvray

Business analysis e regole di business By Ronald G. Ross con Gladys S.W. Lam
Ronald Ross

Usare Scrum su larga scala: cosa cambia?
Craig Larman

Le architetture per ridurre il debito tecnico
Mike Rosen

Conversando con un marziano
Suzanne Robertson

Cosa c’è di nuovo nel project management?
Aaron Shenhar

Reinventare la Business Intelligence
Barry Devlin

Il nuovo volto della business intelligence
Shaku Atre

Alla ricerca del valore tra i pomodori nell'orto
John Favaro

I big data cambiano il mercato dei Database Server
Rick van der Lans

Un “superstorm” di informazioni
Barry Devlin

I dieci step per la qualità dei dati
Danette McGilvray

Perché è meglio evitare il private cloud?
Jason Bloomberg

Leonardo da Vinci aveva ragione!
Chris Date

Mobile user experience: Come adottare una strategia sostenibile
James Hobart

Cosa significa occuparsi di architettura?
Mike Rosen

Virtualizzazione dei dati e sistemi di Business Intelligence Agili
Rick van der Lans

Modelli e linguaggi naturali, quale il modo migliore per definire i requisiti?
James Robertson

Extreme Scoping: un approccio Agile all'Edw e alla BI
Larissa Moss

BI², la Business Intelligence al quadrato
Barry Devlin

I test di regressione in ambienti legacy
Randy Rice

Le conseguenze della consumerizzazione e del Cloud
Chris Potts

Come vanno gli affari? Chiedetelo al vostro cruscotto
Shaku Atre

Organizzare team di progetto efficienti in ambienti DW/BI
Larissa Moss

Big Data, come e perché
Colin White

Business Capabilities e l'allineamento del business all'IT
Mike Rosen

Il valore della tassonomia nella ricerca delle informazioni
Zach Wahl

BI, ma il Data Warehouse è ancora necessario?
Colin White

Reinventare la Business Intelligence
Barry Devlin

Il cruscotto delle prestazioni: il nuovo volto della Business Intelligence
Shaku Atre

Modelli e processi di User acceptance testing
Randy Rice

I limiti nel gestire l'IT come un Business
Chris Potts

Le componenti fondamentali del Cloud
George Reese

Metadati e DW 2.0
Derek Strauss

BI Open Source: basso costo e alto valore?
Jos van Dongen

Semplicità e requisiti
Suzanne Robertson

Business intelligence e analisi testuale
Bill Inmon

Extreme Scoping™: approcci agili al DW e alla BI
Larissa Moss

Dalla BI a un'architettura IT di livello Enterprise
Barry Devlin

Ambiente efficiente di ricerca di informazioni
James Hobart

Il Business deve trainare la Strategia IT
Chris Potts

Web database: la questione MapReduce (seconda parte)
Colin White

Web database: la questione MapReduce
Colin White

Misura delle prestazioni. I sette comandamenti
Harry Chapman

Le dieci cose che un architetto deve fare per creare valore
Mike Rosen

Sviluppare applicazioni a prova di sicurezza
Ken van Wyk

The ECM Landscape in 2008
Alan Pelz-Sharpe

Ma chi sono gli operatori dell’informazione?
Colin White

Qualità dell’informazione e trasformazione del management
Larry English

Classificazione sistematica delle informazioni
Zach Wahl

L’uso intensivo del Web nelle applicazioni di Bi
Colin White

Enterprise Search
Theresa Regli

La forza dell'astrazione
Steve Hoberman

La strada verso una BI pervasiva
Cindi Howson

Soa, una strategia di test
Randy Rice

Verso una BI più semplice e a minor costo
Colin White

I contenuti “Killer” del Web
Gerry McGovern

Sviluppo iterativo del software per i Dw
Larissa Moss

Qualità delle Informazioni e Datawarehousing
Larry English

Lo scenario Ecm 2008
Alan Pelz-Sharpe

La nascita del Web 3.0
John Kneiling

Documentazione: il dossier del crimine
Suzanne Robertson

L’impatto del Web 2.0 sui portali delle imprese
Colin White

Le tecniche vincenti di IT Management
Ken Rau

Web 2.0
Ed Yourdon

Web di successo se si conosce il cliente
Gerry McGovern

Un approccio alla BI incentrato sui processi
Colin White

Integrare Master Data Management e BI (Parte Seconda)
Mike Ferguson

Integrare Master Data Management e BI (Parte Prima)
Mike Ferguson

Il Project Manager è una Tata
Suzanne Robertson

Web di successo se si conosce il cliente
Gerry McGovern

L'informazione personalizzata
Colin White

La Tassonomia dell'Impresa
Zach Wahl

Managed Meta Data Environment (II parte)
David Marco

Managed Meta Data Environment
David Marco

Migliorare le applicazioni dell'impresa con Web 2.0
James Hobart

La Balanced Scorecard migliora la Performance dell'IT
Harry Chapman

La fusione dei processi dell'impresa grazie a Soa (II parte)
Max Dolgicer

La fusione dei processi dell'impresa grazie a SOA (I parte)
Max Dolgicer

Volere è Potere, in Ogni Senso
Suzanne Robertson

Dimostrate con i numeri il valore dei contenuti del web
Gerry McGovern

Il Back-end della pianificazione strategica dell'It
Ken Rau

L'audit delle prescrizioni di progetto (II parte)
Suzanne Robertson

L'audit delle prescrizioni di progetto (I parte)
Suzanne Robertson

Il Processo di gestione delle informazioni
Ted Lewis

I requisiti come strumento di gestione dei progetti
Suzanne Robertson

Il futuro è nel contenuto killer del web
Gerry McGovern

Alla ricerca del valore tra i pomodori nell'orto
John Favaro

Rilevare i costi sulla base delle attività
Ken Rau

Un percorso verso l'impresa intelligente (II parte)
Mike Ferguson

Un percorso verso l'impresa intelligente (I parte)
Mike Ferguson

Il Data Store Operativo: un lavoro di martello
Claudia Imhoff

Il data warehouse orientato all'impresa
Michael Schmitz

Dieci punti chiave per realizzare balanced scorecard di successo
Harry Chapman

Content management: i contenuti al primo posto
Gerry McGovern

Applicazioni Web ad alta disponibilità
John Kneiling

Il 2004, sarà l'anno in cui abbandoneremo html?
James Hobart

La tecnologia EII ripropone il data warehousing virtuale?
Colin White

Misurare per Gestire
Ken Rau

Volere è Potere, in Ogni Senso
Suzanne Robertson

Realizzare il CPM e l'integrazione della BI
Mike Ferguson

Tutti i punti della FPA
Koni Thompson

Requiem per il Portale?
Colin White

Business Intelligence: dalla teoria alla realtà (II parte)
Shaku Atre

Business Intelligence: dalla teoria alla realtà (I parte)
Shaku Atre

I portali Corporate e di E-business: la nuova generazione del posto di lavoro
Mike Ferguson

I 10 errori da evitare nella realizzazione di un Meta Data Repository (II Parte)
David Marco

I 10 errori da evitare nella realizzazione di un Meta Data Repository (I parte)
David Marco

Usare i modelli per acquisire l'esperienza di progettazione
James Hobart

Realizzare l'Impresa Intelligente
Colin White

.NET or J2EE - Choosing the Right Web Services Framework
John Kneiling

Progettare Applicazioni Mobili di Successo
James Hobart

La Sociologia del Progetto: Identificare e Coinvolgere tutti i Partecipanti
Suzanne Robertson

Integrare la Business Intelligence nell'Impresa (II parte)
Mike Ferguson

Integrare la Business Intelligence nell'Impresa (I parte)
Mike Ferguson

L'Evoluzione del Portale di e-Business (II parte)
Colin White

L'Evoluzione del Portale di e-Business (I parte)
Colin White

Il Consulente WebEAI: Servizi Web, XML e l'Impresa
John Kneiling

Data Mining: Come Gestire le Relazioni con i Clienti Secondo i Principi del CRM
Weaver James

Articoli del mese - Technology Transfer