Data mesh, ecco perché conviene puntare sulla decentralizzazione

Il giro d’affari legato alle soluzioni di data mesh, che nel 2024 ha superato il valore del miliardo di dollari a livello globale, crescerà a un cagr del 16,40% da qui fino al 2034. A trainare il settore, secondo una ricerca pubblicata da Polaris Market Research, c’è la necessità, sempre più sentita, di un’architettura dati decentralizzata, a sua volta determinata da una crescita costante degli strumenti di analisi aziendali e dalle opportunità offerte dagli ecosistemi cloud-native scalabili.

Cos’è il data mesh?

Il data mesh viene definito da Ibm come “un’architettura dati decentralizzata che organizza gli input in base a uno specifico dominio aziendale, ad esempio marketing, vendite, servizio clienti e altro, per garantire una maggiore titolarità ai produttori di un determinato set di dati”. In generale, il data mesh promuove l’adozione di tecnologie cloud native e di piattaforme cloud per scalare e raggiungere gli obiettivi di gestione dei dati.

La comprensione dei dati di dominio da parte dei produttori consente loro di definire policy di governance dei dati incentrate su documentazione, qualità e accesso. Questo, a sua volta, abilita un approccio self-service in tutta l’organizzazione. Sebbene questa logica federata elimini molti colli di bottiglia operativi associati ai sistemi centralizzati e monolitici, non significa necessariamente che non sia possibile utilizzare sistemi di storage tradizionali, come data lake o data warehouse. Significa solo che il loro utilizzo è passato da un’unica piattaforma dati centralizzata a più repository dati decentralizzati.

Come funziona il data mesh?

Un data mesh comporta un cambiamento culturale nel modo in cui le aziende concepiscono i propri dati. Invece di essere un sottoprodotto di un processo, i dati diventano il prodotto, in cui chi genera di dati agisce come proprietario dell’output.

Analogamente a come un’architettura di microservizi accoppia servizi leggeri per fornire funzionalità a un’applicazione rivolta al business o al consumatore, un data mesh utilizza domini funzionali per impostare parametri attorno ai dati, consentendo di trattarli come un prodotto accessibile agli utenti di tutta l’organizzazione. In questo modo, un data mesh consente un’integrazione dei dati più flessibile e funzionalità interoperabili, dove i dati provenienti da più domini possono essere immediatamente utilizzati dagli utenti per analisi aziendali, sperimentazioni di data science e altro ancora.

Sebbene questa progettazione basata sul dominio renda i produttori di dati responsabili anche della documentazione delle definizioni semantiche, della catalogazione dei metadati e della definizione di policy per autorizzazioni e utilizzo, deve comunque sussistere un team centralizzato di data governance che si occupi di applicare questi standard e procedure ai dati.

I vantaggi offerti dal data mesh

L’adozione di un approccio data mesh comporta una serie di vantaggi tangibili. Innanzitutto, si promuove la democratizzazione dei dati: le architetture data mesh facilitano le applicazioni self-service da più fonti dati, ampliando l’accesso ai dati oltre le risorse più tecniche, come data scientist, data engineer e sviluppatori. Rendendo i dati più individuabili e accessibili tramite questa progettazione basata sul dominio, si riducono i silos di dati e i colli di bottiglia operativi, consentendo un processo decisionale più rapido e consentendo agli utenti tecnici di dare priorità alle attività che meglio sfruttano le loro competenze.

Grazie a un’architettura distribuita si dà poi maggiore enfasi a piattaforme dati cloud e pipeline di streaming per raccogliere dati in tempo reale. L’archiviazione cloud offre vantaggi in termini di costi, consentendo ai team di dati di creare cluster di grandi dimensioni in base alle esigenze, pagando solo per lo spazio di archiviazione specificato.

Tutto ciò implica anche un minore debito tecnico, soprattutto rispetto alla collaborazione richiesta per la manutenzione del sistema. Distribuendo la pipeline dati in base alla proprietà del dominio, i team addetti ai dati possono soddisfare meglio le esigenze dei consumatori di dati e ridurre il carico tecnico sul sistema di archiviazione. Possono inoltre garantire una maggiore accessibilità ai dati fornendo API con cui interagire, riducendo il volume complessivo delle singole richieste.

In un modello di data mesh, inoltre, i proprietari dei dati concordano in anticipo su come standardizzare i campi dati indipendenti dal dominio, facilitando l’interoperabilità. In questo modo, quando un team di dominio struttura i rispettivi set di dati, applica le regole pertinenti per consentire il collegamento dei dati tra domini in modo rapido e semplice.

Le tendenze del settore nel prossimo decennio

“La trasformazione digitale in tutti i settori è un fattore determinante per il mercato del data mesh”, notano gli analisti di Polaris Market Research, “ poiché le organizzazioni cercano soluzioni di gestione dei dati più efficienti, scalabili e agili per supportare le proprie iniziative digitali. Mentre le aziende intraprendono percorsi di trasformazione digitale per modernizzare le proprie operazioni, migliorare l’esperienza dei clienti e guidare l’innovazione, generano enormi quantità di dati da diverse fonti, come dispositivi IoT, piattaforme di social media e applicazioni aziendali. Il data mesh affronta le sfide poste dalla trasformazione digitale offrendo un approccio decentralizzato che consente alle organizzazioni di sfruttare efficacemente la potenza dei propri dati”.

Decentralizzando la proprietà dei dati e le capacità di analisi, il data mesh consente ai team di specifici domini di accedere e analizzare i dati rilevanti per le proprie aree di competenza, facilitando insight più rapidi e processi decisionali più informati. Inoltre, poiché le iniziative di trasformazione digitale guidano l’adozione del cloud computing e di altre tecnologie, le soluzioni data mesh offrono scalabilità, flessibilità e compatibilità con le moderne infrastrutture IT. Ciò aiuta le organizzazioni a integrare perfettamente i framework data mesh nei propri ecosistemi digitali, supportando gli obiettivi di trasformazione digitale e garantendo al contempo pratiche di gestione dei dati efficienti ed efficaci.

I fattori che rischiano di frenare la domanda di mercato

Attualmente, è il Nord America a fare la parte del leone sul giro d’affari globale, contribuendo con oltre il 33% della quota di mercato nel 2024. Rispetto alla categoria funzionale aziendale, invece, a dominare la dimensione del mercato globale del data mesh, c’è il segmento vendite e marketing. Guardando infine alla categoria di applicazione, Polaris Market Research prevede che il segmento dei sistemi di monitoraggio IoT crescerà con un cagr significativo nel periodo di previsione.

Naturalmente, ci sono anche fattori che, potenzialmente, possono frenare la domanda e alterare le dinamiche di mercato ipotizzate.

I problemi di privacy e sicurezza dei dati, innanzitutto, pongono sfide significative al mercato del data mesh, poiché la gestione decentralizzata dei dati introduce complessità e rischi che devono essere affrontati in modo efficace.

Una delle principali preoccupazioni sarà quindi quella di assicurare la conformità alle normative sulla data protection. La gestione decentralizzata dei dati richiede solidi meccanismi di governance per garantire che le informazioni siano gestite in modo sicuro, accessibili solo agli utenti autorizzati e utilizzati in conformità con i requisiti normativi. Il mancato rispetto di queste normative può comportare gravi sanzioni e danni alla reputazione.

Inoltre, la gestione decentralizzata dei dati aumenta la superficie di potenziale rischio di violazioni della sicurezza, poiché i dati sono distribuiti su più domini, sistemi e team. Garantire la sicurezza dei dati richiede l’implementazione di solidi meccanismi di crittografia, controllo degli accessi e autenticazione per proteggere i dati a riposo e in transito.