Data Engineer e Data Scientist: qual è la differenza
In passato, non era difficile trovare figure che si occupassero di tutti gli aspetti dell’analisi dei dati, ma nell’ultimo decennio le professioni in ambito Data Science si sono moltiplicate e specializzate. Vediamo quindi che differenza c’è tra un Data Engineer e un Data Scientist in termini di storia e competenze e come si collocano nel mondo del lavoro.
Data Engineer: cosa fa e quali sono le sue competenze
Esperto di Data Pipeline, il Data Engineer ha il compito di progettare, costruire e mantenere i sistemi di gestione dei dati, garantendone la bontà del flusso dalle sorgenti alle piattaforme di Data Management1. Si potrebbe pensare al Data Engineer come ad un corriere che si occupa dell’arrivo di un pacco integro – il dato – dal magazzino a destinazione, ovvero all’interno di un database, o di infrastrutture più complesse appositamente create, pronto per essere analizzato e studiato da un Data Scientist2.
Il Data Engineer garantisce quindi la fruibilità dei dati, occupandosi del loro immagazzinamento, monitoraggio e integrità.
Al Data Engineer sono richieste competenze che vanno al di là della sola specializzazione in ingegneria informatica. Sono infatti necessari un approccio architetturale per la pianificazione, la progettazione e l'implementazione di software avanzati, competenze di business intelligence, conoscenze di machine learning e di programmazione (Python, Java, Scala…). Non possono mancare poi flessibilità, creatività e approccio innovativo e multidisciplinare.
Data Engineer vs Data Scientist
Se un tempo era il Data Engineer ad occuparsi dell’interpretazione dei dati, l’arrivo del Data Scientist ha permesso al Data Engineer di focalizzarsi sulla progettazione e sul mantenimento dei database system.
Le due figure sono quindi fortemente connesse: grazie al lavoro del Data Engineer, il Data Scientist possiede tutti gli strumenti per poter produrre modelli e strategie di business. Esistono tre tipi di Data Engineer3:
- Architect: è impiegato in più progetti di piccole dimensioni ed è responsabile di tutti gli step del data process.
- Database-oriented man: è impiegato in progetti più ampi, di conseguenza può concentrarsi sulla gestione del database system.
- Pipeline-centric-man: impiegato in progetti di medie dimensioni, lavora a stretto contatto con il Data Scientist nel processo di data collection.
Entrambe le figure devono possedere una buona conoscenza in ambito statistico, matematico e di programmazione, ma mentre al Data Scientist è richiesta una buona padronanza delle dinamiche di business, il lavoro del Data Engineer si incentra sull’ideazione di infrastrutture per la conservazione del dato e sull’ideazione del miglior modo per trasferirlo dalla sorgente al destinatario.
Data Engineer e Data Scientist nel mercato del lavoro
Il Data Engineer è una figura professionale con una storia non troppo recente. Sebbene, infatti, l’espressione moderna possa trarre in inganno, gli esperti di gestione dei flussi e conservazione dei dati sono presenti ormai da tempo nel mercato del lavoro, ma è con l’esplosione del fenomeno dei big data e l’avvento di nuovi tool d’indagine che il Data Engineer è entrato a far parte della classifica delle professioni più ricercate del nuovo decennio.
La globalizzazione, che ha aumentato i livelli di competizione, spinge le società a dotarsi di personale in grado di gestire i propri dati. In base alle dimensioni dell’azienda o all’ampiezza del progetto da condurre, il Data Engineer può essere inserito in un team di Data Expert o agire da solo.
Va sottolineato, però, che esiste un gap importante tra domanda e offerta che affligge entrambe le professioni: ciò è dovuto in parte alla carenza di percorsi specifici e completi in grado di dare una formazione esauriente a chi ambisce a diventare un Data Expert, ma anche alla velocità con cui cambiano le esigenze del mercato.
Fonti
1. Il nuovo ruolo dei data Engineer: cosa cambia con Big Data e Machine learning, bigdata4innovation.it
2. Data Scientist vs Data Engineer, What’s the difference?, cognitiveclass.ai
3. Who Is a Data Engineer: Responsibilities And His Role In a Company, dataengi.com
