Articoli del meseArticoli del mese

Articoli del mese


Stampa articolo

Articolo del Mese - Agosto 2011

BI, ma il Data Warehouse è ancora necessario?

Colin White by Colin White

Il numero di soluzioni di Business Intelligence (BI) proposte sul mercato è in continuo aumento. La maggior parte di esse utilizzano ancora servizi forniti dai tradizionali Data Warehouse (DW). Tuttavia, per quanto possa sembrare strano, ve ne sono alcune che hanno iniziato a farne a meno. Su attività effettuate su volumi di dati in cui è richiesta rapidità di risposta è oggi infatti possibile escludere l'utilizzo di un DW o prevederne un utilizzo collaborativo e coerente con i risultati dell'elaborazione analitica pianificata. In alcuni casi si prospetta, quindi, un ruolo del DW diverso dal passato, complementare e non più univoco all'esercizio di applicazioni di BI. Il ruolo del tradizionale enterprise DW, di fatto, cambia in conseguenza del mutamento che interessa lo stesso mercato della BI.
Il titolo di questo articolo è volutamente provocatorio e il mio obiettivo è incoraggiare gli esperti di BI a riconsiderare il ruolo del DW in nuovi progetti di BI. Nel passato l'enterprise DW era considerato la pietra miliare di questi progetti, oggi, in molte situazioni, non lo è più.

Una prospettiva storica
Nella dimensione aziendale esistono tre tipi fondamentali di elaborazione IT: transazionale, di Business Intelligence e collaborativa. La prima riguarda l'operatività quotidiana, mentre le applicazioni BI analizzano quelle operazioni con l'obiettivo di renderle più efficienti e migliorarle. I sistemi collaborativi sono infine dedicati alla condivisione delle informazioni e della conoscenza.
Prima dell'introduzione del concetto di BI, la maggior parte delle aziende analizzava le proprie attività con applicazioni di supporto alle decisioni che effettuavano query e fornivano report su dati risiedenti su dabase transazionali. Vi era più di un problema con questo approccio: 1) i dati non erano trattati nella forma più appropriata per attività di reporting; 2) i dati avevano problemi di qualità; 3) i sistemi di supporto decisionale compromettevano le prestazioni dei sistemi transazionali; 4) i dati erano distribuiti su una quantità di sistemi diversi; 5) vi era una mancanza complessiva dello storico dell'informazione.
Il DW fu introdotto per attenuare queste criticità. Nonostante non si metta in discussione la capacità del DW nel migliorare il processo decisionale, è importante comprendere che esso venne introdotto essenzialmente per risolvere questioni legate all'ottimizzazione del sistema transazionale e a valutazioni di tipo prestazionale.
L'emergere della BI e di applicazioni di Business Performance Management (Bpm) così come nuovi e potenti tool, hanno consentito di migliorare la componente decisionale, grazie a interfacce semplificate, capacità di analisi dei dati e possibilità comparativa tra attività correnti e pianificate. In questo contesto, l'utilizzo di DW da parte di applicazioni BI e Bpm è prevalentemente orientato a risolvere le criticità di accesso diretto ai dati transazionali. Ne consegue che, qualora si riescano a ovviare queste criticità, viene meno la necessità dell'utilizzo di un DW.

Business Intelligence tradizionale
La BI è stata utilizzata per molti anni in modo tattico e strategico per migliorare la fase decisionale con una conseguente modalità di elaborazione che implica operazioni analitiche intensive su dati storici che risiedono su DW. Tutto ciò ha causato una criticità nella centralizzazione dei dati, criticità che è stata ovviata con la creazione di data mart (DM), permettendo la distribuzione dei dati su più data store. Tuttavia, questa soluzione ha aperto un altro problema, dovuto al fatto che i DM vengono creati da DB transazionali e non da DW. Questo per il semplice fatto che tale approccio risulta largamente più vantaggioso in termini di velocità e realizzazione. Se si considera che all'interno di un'organizzazione risiedono spesso più DW e una molteplicità di DM, si capisce che uno dei problemi più comuni si è rivelato poi essere la consistenza dei dati. Problema per cui in origine, anche se può sembrare una contraddizione, era stato appunto pensato il DW.
Sono stati scritti molti articoli sul problema della proliferazione di DM indipendenti che accedono direttamente a dati operazionali e non è mia intenzione approfondire questo argomento. Ritengo tuttavia importante ricordare che un DM risolve molti degli stessi problemi di cui si fa carico un DW tranne per il fatto che le decisioni che vengono tratte da un network di DM rischiano di essere inconsistenti nello stesso modo in cui possono esserlo decisioni basate sullo screening di più data base transazionali. Questo problema può essere però attenuato integrando i dati transazionali in un data store operazionale. Permane un problema del trattamento dei dati storici, ma questo può essere risolto.


Dati storici e correnti
La distinzione tra dati correnti e storici dovrebbe essere semplice, ma nei fatti non lo è. Solitamente i dati in un sistema transazionale sono considerati correnti, mentre i dati di un DW sono considerati storici. Eppure, in alcuni contesti, una tale classificazione può risultare rigida. Presso una compagnia telefonica, esistono per esempio record che mostrano i dati clienti e record per ciascuno degli account relativi a numero telefonico, fatture ecc. Quando si effettua una chiamata, si invia un messaggio o si accede a Internet si crea un call detail record (Cdr) che può essere raccolto con altri Cdr per analizzare il comportamento del cliente, intercettare frodi ecc. In qualsiasi momento i record permettono di avere informazioni sullo stato corrente dell'account. Tutto ciò può essere considerato un insieme di dati correnti. Quando questi dati vengono aggiornati, i vecchi dati possono poi essere catturati da un DW per esigenze di analisi. Il momento di cattura dei dati può essere fatto in un momento particolare o in modo continuativo a seconda del modo in cui si vogliono analizzare i dati. È vero, i dati nel DW sono sempre di tipo storico, ma nel contesto di record Cdr la situazione è diversa. In questo caso è opportuno parlare di dati correnti perché, anche se i dati cambiano nel tempo, ci si confronta sempre con una condizione corrente. Che nome diamo al Cdr data store? Ho la sensazione che molti lo chiamerebbero un data mart. La terminologia non è fondamentale, quel che importa sapere è che non vi è necessità che quei dati risiedano su un DW.
Se l'informazione Cdr è utilizzata per individuare possibili frodi, più è veloce l'analisi più rapidamente può essere riscontrata la frode. L'applicazione BI può elaborare i dati in-flight, mentre fluiscono nel sistema, o analizzarli in un data store che viene continuamente aggiornato. E questo è appunto un esempio di BI operazionale in cui la componente DW può essere bypassata.

Business Intelligence operazionale
Esiste un numero crescente di applicazioni simili a quelle descritte in precedenza. Il vantaggio di queste applicazioni è che aiutano le aziende a diventare più agili nell'analizzare i dati correnti. Un esempio recente di queste applicazioni è il trading algoritmico che utilizza eventi analitici per ottimizzare le operazioni commerciali. Il tempo di risposta di queste analisi è nell'ordine di una frazione di secondo. In questo tipo di elaborazione non è necessario archiviare grandi volumi di dati in un DW.
Per molte applicazioni BI di tipo operazionale il processo e l'approccio ai dati è diverso dalla BI tradizionale. Applicazioni che analizzano traffico Web e attività business su siti e-commerce per tracciare i trend di acquisto, ottimizzare i prezzi, sono un classico esempio di BI operazionale dove l'analisi dei dati viene eseguita in modalità in-flight utilizzando il DW solo come strumento accessorio.
Perché tutta questa discussione è importante? Per il fatto che oggi la Business Intelligence è sinonimo di DW. Ma è un luogo comune. DW è una delle componenti della BI e quest'ultima può utilizzare dati che risiedono su altri data store e non necessariamente DW. Si è parlato a questo proposito di virtual DW, ma credo che siano termini che servono solo a confondere e, in buona sostanza, inutili.
Ci si dimentica spesso che il DW è stato creato per risolvere le debolezze dei sistemi transazionali. Molti di questi aspetti sono oggi risolvibili. La mia preoccupazione è che il DW venga oggi inopportunamente utilizzato ed esteso ad applicazioni di Master Data Management e di Content Management. Nulla di più sbagliato. In definitiva, la mia opinione è che il DW, pur rappresentando, ancora oggi, una componente fondamentale della BI, non sia, comunque e sempre, il fondamento su cui costruire un progetto di BI.

BI, ma il Data Warehouse è ancora necessario? - Technology Transfer

Enterprise information catalog. I requisiti per fare la scelta giusta
Mike Ferguson

La nuova era dell’analisi predittiva - Le aziende alla prova del Machine Learning
Frank Greco

Uno sguardo Agile - Per capire il passato e progettare il futuro
Arie van Bennekum

Trasformazione Agile
Se il product owner diventa un collo di bottiglia

Sander Hoogendoorn

Una Fiat o una Ferrari?
Qual è la più adatta per il business digitale?

Barry Devlin

Vincere la complessità dei dati. È l’ora dello smart data management
Mike Ferguson

Big Data e Analytics - Se il machine learning accelera anche la data science
Mike Ferguson

I dati al centro del business
Christopher Bradley

I Big Data forniscono il contesto e la ricchezza predittiva attorno alle transazioni di business Avere dati coerenti e di qualità resta fondamentale per il processo decisionale
Barry Devlin

Cosa c’è dietro l’angolo? Cinque mosse per diventare un digital leader
Jeroen Derynck

Managing information technology Gestire l’IT come un business nel business
Mitchell Weisberg

Data integration self-service Miglioramento della produttività o caos totale?
Mike Ferguson

Project manager vecchi miti e nuove realtà
Aaron Shenhar

La catena alimentare dei requisiti
Suzanne Robertson

Come diventare un’azienda data-centric
Lindy Ryan

Enterprise analytical ecosystem - Come comprendere il comportamento online dei clienti e capitalizzare il valore dei dati nell’era Big Data
Mike Ferguson

Agilità? Basta Volere
Suzanne Robertson

Ma la vostra architettura è efficace?
Mike Rosen

Se il NoSQL diventa SQL
Rick van der Lans

La data quality e l’impatto sul business
Danette McGilvray

Business analysis e regole di business By Ronald G. Ross con Gladys S.W. Lam
Ronald Ross

Usare Scrum su larga scala: cosa cambia?
Craig Larman

Le architetture per ridurre il debito tecnico
Mike Rosen

Conversando con un marziano
Suzanne Robertson

Cosa c’è di nuovo nel project management?
Aaron Shenhar

Reinventare la Business Intelligence
Barry Devlin

Il nuovo volto della business intelligence
Shaku Atre

Alla ricerca del valore tra i pomodori nell'orto
John Favaro

I big data cambiano il mercato dei Database Server
Rick van der Lans

Un “superstorm” di informazioni
Barry Devlin

I dieci step per la qualità dei dati
Danette McGilvray

Perché è meglio evitare il private cloud?
Jason Bloomberg

Leonardo da Vinci aveva ragione!
Chris Date

Mobile user experience: Come adottare una strategia sostenibile
James Hobart

Cosa significa occuparsi di architettura?
Mike Rosen

Virtualizzazione dei dati e sistemi di Business Intelligence Agili
Rick van der Lans

Modelli e linguaggi naturali, quale il modo migliore per definire i requisiti?
James Robertson

Extreme Scoping: un approccio Agile all'Edw e alla BI
Larissa Moss

BI², la Business Intelligence al quadrato
Barry Devlin

I test di regressione in ambienti legacy
Randy Rice

Le conseguenze della consumerizzazione e del Cloud
Chris Potts

Come vanno gli affari? Chiedetelo al vostro cruscotto
Shaku Atre

Organizzare team di progetto efficienti in ambienti DW/BI
Larissa Moss

Big Data, come e perché
Colin White

Business Capabilities e l'allineamento del business all'IT
Mike Rosen

Il valore della tassonomia nella ricerca delle informazioni
Zach Wahl

BI, ma il Data Warehouse è ancora necessario?
Colin White

Reinventare la Business Intelligence
Barry Devlin

Il cruscotto delle prestazioni: il nuovo volto della Business Intelligence
Shaku Atre

Modelli e processi di User acceptance testing
Randy Rice

I limiti nel gestire l'IT come un Business
Chris Potts

Le componenti fondamentali del Cloud
George Reese

Metadati e DW 2.0
Derek Strauss

BI Open Source: basso costo e alto valore?
Jos van Dongen

Semplicità e requisiti
Suzanne Robertson

Business intelligence e analisi testuale
Bill Inmon

Extreme Scoping™: approcci agili al DW e alla BI
Larissa Moss

Dalla BI a un'architettura IT di livello Enterprise
Barry Devlin

Ambiente efficiente di ricerca di informazioni
James Hobart

Il Business deve trainare la Strategia IT
Chris Potts

Web database: la questione MapReduce (seconda parte)
Colin White

Web database: la questione MapReduce
Colin White

Misura delle prestazioni. I sette comandamenti
Harry Chapman

Le dieci cose che un architetto deve fare per creare valore
Mike Rosen

Sviluppare applicazioni a prova di sicurezza
Ken van Wyk

The ECM Landscape in 2008
Alan Pelz-Sharpe

Ma chi sono gli operatori dell’informazione?
Colin White

Qualità dell’informazione e trasformazione del management
Larry English

Classificazione sistematica delle informazioni
Zach Wahl

L’uso intensivo del Web nelle applicazioni di Bi
Colin White

Enterprise Search
Theresa Regli

La forza dell'astrazione
Steve Hoberman

La strada verso una BI pervasiva
Cindi Howson

Soa, una strategia di test
Randy Rice

Verso una BI più semplice e a minor costo
Colin White

I contenuti “Killer” del Web
Gerry McGovern

Sviluppo iterativo del software per i Dw
Larissa Moss

Qualità delle Informazioni e Datawarehousing
Larry English

Lo scenario Ecm 2008
Alan Pelz-Sharpe

La nascita del Web 3.0
John Kneiling

Documentazione: il dossier del crimine
Suzanne Robertson

L’impatto del Web 2.0 sui portali delle imprese
Colin White

Le tecniche vincenti di IT Management
Ken Rau

Web 2.0
Ed Yourdon

Web di successo se si conosce il cliente
Gerry McGovern

Un approccio alla BI incentrato sui processi
Colin White

Integrare Master Data Management e BI (Parte Seconda)
Mike Ferguson

Integrare Master Data Management e BI (Parte Prima)
Mike Ferguson

Il Project Manager è una Tata
Suzanne Robertson

Web di successo se si conosce il cliente
Gerry McGovern

L'informazione personalizzata
Colin White

La Tassonomia dell'Impresa
Zach Wahl

Managed Meta Data Environment (II parte)
David Marco

Managed Meta Data Environment
David Marco

Migliorare le applicazioni dell'impresa con Web 2.0
James Hobart

La Balanced Scorecard migliora la Performance dell'IT
Harry Chapman

La fusione dei processi dell'impresa grazie a Soa (II parte)
Max Dolgicer

La fusione dei processi dell'impresa grazie a SOA (I parte)
Max Dolgicer

Volere è Potere, in Ogni Senso
Suzanne Robertson

Dimostrate con i numeri il valore dei contenuti del web
Gerry McGovern

Il Back-end della pianificazione strategica dell'It
Ken Rau

L'audit delle prescrizioni di progetto (II parte)
Suzanne Robertson

L'audit delle prescrizioni di progetto (I parte)
Suzanne Robertson

Il Processo di gestione delle informazioni
Ted Lewis

I requisiti come strumento di gestione dei progetti
Suzanne Robertson

Il futuro è nel contenuto killer del web
Gerry McGovern

Alla ricerca del valore tra i pomodori nell'orto
John Favaro

Rilevare i costi sulla base delle attività
Ken Rau

Un percorso verso l'impresa intelligente (II parte)
Mike Ferguson

Un percorso verso l'impresa intelligente (I parte)
Mike Ferguson

Il Data Store Operativo: un lavoro di martello
Claudia Imhoff

Il data warehouse orientato all'impresa
Michael Schmitz

Dieci punti chiave per realizzare balanced scorecard di successo
Harry Chapman

Content management: i contenuti al primo posto
Gerry McGovern

Applicazioni Web ad alta disponibilità
John Kneiling

Il 2004, sarà l'anno in cui abbandoneremo html?
James Hobart

La tecnologia EII ripropone il data warehousing virtuale?
Colin White

Misurare per Gestire
Ken Rau

Volere è Potere, in Ogni Senso
Suzanne Robertson

Realizzare il CPM e l'integrazione della BI
Mike Ferguson

Tutti i punti della FPA
Koni Thompson

Requiem per il Portale?
Colin White

Business Intelligence: dalla teoria alla realtà (II parte)
Shaku Atre

Business Intelligence: dalla teoria alla realtà (I parte)
Shaku Atre

I portali Corporate e di E-business: la nuova generazione del posto di lavoro
Mike Ferguson

I 10 errori da evitare nella realizzazione di un Meta Data Repository (II Parte)
David Marco

I 10 errori da evitare nella realizzazione di un Meta Data Repository (I parte)
David Marco

Usare i modelli per acquisire l'esperienza di progettazione
James Hobart

Realizzare l'Impresa Intelligente
Colin White

.NET or J2EE - Choosing the Right Web Services Framework
John Kneiling

Progettare Applicazioni Mobili di Successo
James Hobart

La Sociologia del Progetto: Identificare e Coinvolgere tutti i Partecipanti
Suzanne Robertson

Integrare la Business Intelligence nell'Impresa (II parte)
Mike Ferguson

Integrare la Business Intelligence nell'Impresa (I parte)
Mike Ferguson

L'Evoluzione del Portale di e-Business (II parte)
Colin White

L'Evoluzione del Portale di e-Business (I parte)
Colin White

Il Consulente WebEAI: Servizi Web, XML e l'Impresa
John Kneiling

Data Mining: Come Gestire le Relazioni con i Clienti Secondo i Principi del CRM
Weaver James

Articoli del mese - Technology Transfer