Articoli del meseArticoli del mese

Articoli del mese


Stampa articolo

Articolo del Mese - Gennaio 2018

Big Data e Analytics - Se il machine learning accelera anche la data science

Mike Ferguson by Mike Ferguson

In molte aziende, oggi, la domanda di dati e di analisi è pervasiva. I progetti in corso riguardano molti aspetti: migliorare l’engagement dei clienti, ridurre il rischio e ottimizzare le operazioni di business

Anche le fonti di dati crescono senza sosta, con dati di tutti i tipi che provengono sia dall’interno sia dall’esterno dell’azienda. Ma se le analisi sono necessarie quasi ovunque, gli approcci attuali per svilupparle sono lenti e costosi. Per supportare queste esigenze, il moderno mondo degli analytics si è allargato oltre il tradizionale data warehouse, per diventare un ecosistema che comprende numerosi data store e piattaforme ottimizzati per diversi tipi di carichi di lavoro: data warehouse, database NoSQL, piattaforme Hadoop, di cloud storage e di streaming analytics, oltre a tecnologie come Kafka, Apache Spark e Apache Flink. Alcuni fornitori come Cloudera e MapR, stanno cercando di posizionarsi come piattaforme dati in grado di effettuare tutto questo su un singolo sistema. Inoltre, molte aziende hanno creato team di data science per concentrarsi su specifici problemi di business, che analizzano i dati su diverse piattaforme sottostanti come Spark/Hadoop, i sistemi di elaborazione dei flussi dati e i RDBMS analitici che supportano i data warehouse. È per questo che tali team operano nell’ecosistema analitico su dati presenti in più depositi, cioè in quello che sta diventando un data lake logico distribuito e non un archivio unico di dati centralizzato.

L’esigenza di scalare a basso costo - La richiesta di nuovi dati e di nuovi tipi di analisi su un alto volume di dati multi-strutturati ha fatto sorgere anche l’esigenza di scalare a basso costo, cosa che a sua volta ha innescato la rapida adozione di tecnologie come Hadoop e Apache Spark per scalare i dati e l’elaborazione analitica. Inizialmente, l’adozione di queste tecnologie è stata lenta, ma oggi sono ormai mainstream, con molti diversi tipi di analytics che vengono sviluppati nei progetti di data science, utilizzati per analizzare i dati sia in ambito big data sia negli ambienti tradizionali. I tipi di analisi intrapresi comprendono il machine learning supervisionato e non supervisionato, l’analisi dei testi, l’analisi dei grafi, il deep learning e l’intelligenza artificiale. Molto probabilmente la crescita più rapida tra questi riguarda il machine learning: quello supervisionato per classificare (prevedere) e quello non supervisionato per descrivere i modelli nei dati, per esempio per raggruppare cluster simili in gruppi nella segmentazione dei clienti. Con il machine learning supervisionato, i dati vengono prima preparati e poi alimentati in un algoritmo per addestrarlo a predire correttamente un risultato. I possibili esempi sono prevedere l’abbandono dei clienti, cioè il churn, oppure i guasti ai macchinari. In questo caso, i dati vengono spesso suddivisi in dati di addestramento e di test, con un ulteriore subset tenuto indietro per vedere come un modello si comporta su dati totalmente invisibili dopo che è stato addestrato. Vi è una quantità di algoritmi che possono essere utilizzati per le previsioni: i data scientist svilupperanno tipicamente più modelli, ognuno con un algoritmo diverso, confrontando i risultati per trovare il più accurato. Il machine learning non supervisionato si ha quando viene eseguito un algoritmo sui dati senza alcuna formazione per trovare modelli nei dati. Un buon esempio qui è il clustering per raggruppare dati analoghi o il rilevamento di associazioni per l’analisi dei basket di mercato.

Perché la data science può diventare un collo di bottiglia? -Tuttavia, gli attuali approcci allo sviluppo del modello analitico di machine learning hanno mostrato numerosi problemi. Per cominciare c’è una vera e propria carenza di data scientist qualificati che, anche se si riesce ad assumerli, diventano rapidamente preda degli head hunter. Anche lo sviluppo di modelli analitici è spesso lento, soprattutto sulle grandi piattaforme di dati sulle quali i data scientist preferiscono sviluppare tutto manualmente, scrivendo codice in linguaggi molto utilizzati come Java, R, Scala e Python. Ciò comporta che la funzione data science diventa un collo di bottiglia, con un conseguente backlog di analisi che devono ancora essere costruite. Anche il costo dello sviluppo è superiore a quello che dovrebbe o potrebbe essere perché la data science viene spesso suddivisa su persone diverse, talvolta utilizzando approcci di sviluppo incoerenti, oltre a librerie e strumenti diversi. Ciò porta a una frammentazione di competenze distribuite in maniera esigua su troppe tecnologie. Questo limita anche il riutilizzo e la condivisione di set di dati e modelli. La manutenzione diventa quindi un problema, il costo aumenta e non esiste un programma integrato di attività analitica. Tutto ciò impedisce l’agilità e aggiunge complessità. Inoltre, con il ritmo di sviluppo lento, la data science può diventare un collo di bottiglia, il che a sua volta può far sì che gli analytics già in esecuzione rallentino in quanto le persone vengono trattenute su altre attività di sviluppo connesse al backlog di cui si diceva poco sopra. Inoltre, una funzione data science frammentata ed eccessivamente complessa può anche portare a una preparazione dei dati self-service non gestita, se i team adottano approcci diversi. Ciò avviene soprattutto nel caso in cui tutto venga codificato a mano senza una linea di metadati e senza alcun modo per sapere come è stato preparato il dato. Anche la produttività e la governance soffrono, con impatti negativi sul time-to-value.

Come risolvere tutto questo? - La risposta è quella di accelerare la funzione data science automatizzando lo sviluppo di modelli predittivi. Non a caso, stanno emergendo molte nuove tecnologie di questo tipo, come per esempio DataRobot, Tellmeplus e IBM Data Science Experience. E anche Google sta percorrendo questa strada. L’automazione del machine learning consente di costruire e confrontare rapidamente modelli predittivi e permette ai business analyst che non hanno skill specifici di diventare data scientist a tutti gli effetti. Ma permette anche di integrare modelli, costruiti sia automaticamente sia in maniera personalizzata, in un programma comune di tipo campione/sfidante, in modo da coordinare e gestire tutti i progetti di machine learning da un unico punto.

Per valutare gli strumenti di automazione del machine learning, alcuni dei requisiti chiave da prendere in considerazione sono:

• Project management e allineamento con la strategia di business.
• Sviluppo e condivisione collaborativi.
• Integrazione con un catalogo di informazioni per facilitare la ricerca dei dati da parte dei data scientist.
• Dare accesso a dati sulle piattaforme dei big data e di quelli normali, all’interno o all’esterno dell’azienda.
• Supporto per una facile esplorazione e profilazione dei dati.
• Preparazione dati self-service di terze parti incorporata e integrata.
• Possibilità di automatizzare o definire manualmente i set di dati per formare e convalidare i modelli.
• Possibilità di automatizzare la selezione variabile per l’input a un algoritmo di machine learning.
• Capacità di creare, formare e convalidare automaticamente più modelli candidati usando diversi algoritmi.
• Supporto per una formazione interattiva per una maggiore precisione.
• Possibilità di includere algoritmi dalle librerie di terze parti per integrare tecnologie e formare modelli candidati da una piattaforma comune.
• Capacità di integrare modelli personalizzati costruiti in diversi linguaggi in notebook interattivi come Zeppelin e Jupyter.
• Capacità di confrontare facilmente l’accuratezza predittiva di più modelli candidati.
• Possibilità di selezionare e implementare facilmente modelli per il consumo da parte di altre applicazioni e strumenti.
• Possibilità di implementare facilmente modelli in diversi ambienti di esecuzione, per esempio in cloud, Spark, database, Hadoop o stream.
• Capacità di creare una “fabbrica” di machine learning non solo per industrializzare lo sviluppo, ma anche per automatizzare il monitoraggio della precisione del modello e la manutenzione e l’aggiornamento dei modelli esistenti.

Mike Ferguson sarà a Roma per Technology Transfer il chairman della Conferenza “Enterprise Data & Analytics Summit 2018” il 21-22 Giugno 2018. Presenterà inoltre i seminari “Progettare, costruire e gestire un Enterprise Data Lake” il 16-17 Aprile 2018 “Predictive e Advanced Analytics” il 18-19 aprile 2018, e “Enteprise Data Governance & Master Data Management” il 19-20 Giugno 2018.

Big Data e Analytics - Se il machine learning accelera anche la data science - Technology Transfer

Una Fiat o una Ferrari?
Qual è la più adatta per il business digitale?

Barry Devlin

Vincere la complessità dei dati. È l’ora dello smart data management
Mike Ferguson

Big Data e Analytics - Se il machine learning accelera anche la data science
Mike Ferguson

I dati al centro del business
Christopher Bradley

I Big Data forniscono il contesto e la ricchezza predittiva attorno alle transazioni di business Avere dati coerenti e di qualità resta fondamentale per il processo decisionale
Barry Devlin

Cosa c’è dietro l’angolo? Cinque mosse per diventare un digital leader
Jeroen Derynck

Managing information technology Gestire l’IT come un business nel business
Mitchell Weisberg

Data integration self-service Miglioramento della produttività o caos totale?
Mike Ferguson

Project manager vecchi miti e nuove realtà
Aaron Shenhar

La catena alimentare dei requisiti
Suzanne Robertson

Come diventare un’azienda data-centric
Lindy Ryan

Enterprise analytical ecosystem - Come comprendere il comportamento online dei clienti e capitalizzare il valore dei dati nell’era Big Data
Mike Ferguson

Agilità? Basta Volere
Suzanne Robertson

Ma la vostra architettura è efficace?
Mike Rosen

Se il NoSQL diventa SQL
Rick van der Lans

La data quality e l’impatto sul business
Danette McGilvray

Business analysis e regole di business By Ronald G. Ross con Gladys S.W. Lam
Ronald Ross

Usare Scrum su larga scala: cosa cambia?
Craig Larman

Le architetture per ridurre il debito tecnico
Mike Rosen

Conversando con un marziano
Suzanne Robertson

Cosa c’è di nuovo nel project management?
Aaron Shenhar

Reinventare la Business Intelligence
Barry Devlin

Il nuovo volto della business intelligence
Shaku Atre

Alla ricerca del valore tra i pomodori nell'orto
John Favaro

I big data cambiano il mercato dei Database Server
Rick van der Lans

Un “superstorm” di informazioni
Barry Devlin

I dieci step per la qualità dei dati
Danette McGilvray

Perché è meglio evitare il private cloud?
Jason Bloomberg

Leonardo da Vinci aveva ragione!
Chris Date

Mobile user experience: Come adottare una strategia sostenibile
James Hobart

Cosa significa occuparsi di architettura?
Mike Rosen

Virtualizzazione dei dati e sistemi di Business Intelligence Agili
Rick van der Lans

Modelli e linguaggi naturali, quale il modo migliore per definire i requisiti?
James Robertson

Extreme Scoping: un approccio Agile all'Edw e alla BI
Larissa Moss

BI², la Business Intelligence al quadrato
Barry Devlin

I test di regressione in ambienti legacy
Randy Rice

Le conseguenze della consumerizzazione e del Cloud
Chris Potts

Come vanno gli affari? Chiedetelo al vostro cruscotto
Shaku Atre

Organizzare team di progetto efficienti in ambienti DW/BI
Larissa Moss

Big Data, come e perché
Colin White

Business Capabilities e l'allineamento del business all'IT
Mike Rosen

Il valore della tassonomia nella ricerca delle informazioni
Zach Wahl

BI, ma il Data Warehouse è ancora necessario?
Colin White

Reinventare la Business Intelligence
Barry Devlin

Il cruscotto delle prestazioni: il nuovo volto della Business Intelligence
Shaku Atre

Modelli e processi di User acceptance testing
Randy Rice

I limiti nel gestire l'IT come un Business
Chris Potts

Le componenti fondamentali del Cloud
George Reese

Metadati e DW 2.0
Derek Strauss

BI Open Source: basso costo e alto valore?
Jos van Dongen

Semplicità e requisiti
Suzanne Robertson

Business intelligence e analisi testuale
Bill Inmon

Extreme Scoping™: approcci agili al DW e alla BI
Larissa Moss

Dalla BI a un'architettura IT di livello Enterprise
Barry Devlin

Ambiente efficiente di ricerca di informazioni
James Hobart

Il Business deve trainare la Strategia IT
Chris Potts

Web database: la questione MapReduce (seconda parte)
Colin White

Web database: la questione MapReduce
Colin White

Misura delle prestazioni. I sette comandamenti
Harry Chapman

Le dieci cose che un architetto deve fare per creare valore
Mike Rosen

Sviluppare applicazioni a prova di sicurezza
Ken van Wyk

The ECM Landscape in 2008
Alan Pelz-Sharpe

Ma chi sono gli operatori dell’informazione?
Colin White

Qualità dell’informazione e trasformazione del management
Larry English

Classificazione sistematica delle informazioni
Zach Wahl

L’uso intensivo del Web nelle applicazioni di Bi
Colin White

Enterprise Search
Theresa Regli

La forza dell'astrazione
Steve Hoberman

La strada verso una BI pervasiva
Cindi Howson

Soa, una strategia di test
Randy Rice

Verso una BI più semplice e a minor costo
Colin White

I contenuti “Killer” del Web
Gerry McGovern

Sviluppo iterativo del software per i Dw
Larissa Moss

Qualità delle Informazioni e Datawarehousing
Larry English

Lo scenario Ecm 2008
Alan Pelz-Sharpe

La nascita del Web 3.0
John Kneiling

Documentazione: il dossier del crimine
Suzanne Robertson

L’impatto del Web 2.0 sui portali delle imprese
Colin White

Le tecniche vincenti di IT Management
Ken Rau

Web 2.0
Ed Yourdon

Web di successo se si conosce il cliente
Gerry McGovern

Un approccio alla BI incentrato sui processi
Colin White

Integrare Master Data Management e BI (Parte Seconda)
Mike Ferguson

Integrare Master Data Management e BI (Parte Prima)
Mike Ferguson

Il Project Manager è una Tata
Suzanne Robertson

Web di successo se si conosce il cliente
Gerry McGovern

L'informazione personalizzata
Colin White

La Tassonomia dell'Impresa
Zach Wahl

Managed Meta Data Environment (II parte)
David Marco

Managed Meta Data Environment
David Marco

Migliorare le applicazioni dell'impresa con Web 2.0
James Hobart

La Balanced Scorecard migliora la Performance dell'IT
Harry Chapman

La fusione dei processi dell'impresa grazie a Soa (II parte)
Max Dolgicer

La fusione dei processi dell'impresa grazie a SOA (I parte)
Max Dolgicer

Volere è Potere, in Ogni Senso
Suzanne Robertson

Dimostrate con i numeri il valore dei contenuti del web
Gerry McGovern

Il Back-end della pianificazione strategica dell'It
Ken Rau

L'audit delle prescrizioni di progetto (II parte)
Suzanne Robertson

L'audit delle prescrizioni di progetto (I parte)
Suzanne Robertson

Il Processo di gestione delle informazioni
Ted Lewis

I requisiti come strumento di gestione dei progetti
Suzanne Robertson

Il futuro è nel contenuto killer del web
Gerry McGovern

Alla ricerca del valore tra i pomodori nell'orto
John Favaro

Rilevare i costi sulla base delle attività
Ken Rau

Un percorso verso l'impresa intelligente (II parte)
Mike Ferguson

Un percorso verso l'impresa intelligente (I parte)
Mike Ferguson

Il Data Store Operativo: un lavoro di martello
Claudia Imhoff

Il data warehouse orientato all'impresa
Michael Schmitz

Dieci punti chiave per realizzare balanced scorecard di successo
Harry Chapman

Content management: i contenuti al primo posto
Gerry McGovern

Applicazioni Web ad alta disponibilità
John Kneiling

Il 2004, sarà l'anno in cui abbandoneremo html?
James Hobart

La tecnologia EII ripropone il data warehousing virtuale?
Colin White

Misurare per Gestire
Ken Rau

Volere è Potere, in Ogni Senso
Suzanne Robertson

Realizzare il CPM e l'integrazione della BI
Mike Ferguson

Tutti i punti della FPA
Koni Thompson

Requiem per il Portale?
Colin White

Business Intelligence: dalla teoria alla realtà (II parte)
Shaku Atre

Business Intelligence: dalla teoria alla realtà (I parte)
Shaku Atre

I portali Corporate e di E-business: la nuova generazione del posto di lavoro
Mike Ferguson

I 10 errori da evitare nella realizzazione di un Meta Data Repository (II Parte)
David Marco

I 10 errori da evitare nella realizzazione di un Meta Data Repository (I parte)
David Marco

Usare i modelli per acquisire l'esperienza di progettazione
James Hobart

Realizzare l'Impresa Intelligente
Colin White

.NET or J2EE - Choosing the Right Web Services Framework
John Kneiling

Progettare Applicazioni Mobili di Successo
James Hobart

La Sociologia del Progetto: Identificare e Coinvolgere tutti i Partecipanti
Suzanne Robertson

Integrare la Business Intelligence nell'Impresa (II parte)
Mike Ferguson

Integrare la Business Intelligence nell'Impresa (I parte)
Mike Ferguson

L'Evoluzione del Portale di e-Business (II parte)
Colin White

L'Evoluzione del Portale di e-Business (I parte)
Colin White

Il Consulente WebEAI: Servizi Web, XML e l'Impresa
John Kneiling

Data Mining: Come Gestire le Relazioni con i Clienti Secondo i Principi del CRM
Weaver James

Articoli del mese - Technology Transfer