Por que a Engenharia de Dados Sobreviveu a um Cargo de IA de $200k

Dados de 10 anos mostram como a engenharia de dados pode durar mais que empregos tecnológicos “tendência”.

Lembra quando todos estavam correndo para se tornar “engenheiros de prompts” ou “arquitetos do metaverso”? Na semana passada, The Wall Street Journal publicou um artigo (O Emprego de IA Mais Quente de 2023 Já Está Obsoleto) expondo como o trabalho de IA mais “quente”, o engenheiro de prompts, desapareceu silenciosamente.

É uma história familiar e que causa reviravoltas nos olhos. A indústria de tecnologia tem sido culpada de exaltar precocemente o “próximo emprego da década”. Estou olhando para você, desenvolvedores de Blockchain, comerciantes de NFT e “Chief Metaverse Officers”. Esses papéis muitas vezes aumentam em popularidade, impulsionados por hype e capital de risco, apenas para desaparecer à medida que a tecnologia amadurece ou o mercado muda.

No entanto, entre a volatilidade, um papel tem permanecido consistentemente em alta demanda (e previsto para crescer ainda mais!): Engenharia de dados. O Departamento de Trabalho dos EUA e Estatísticas prevê um crescimento de 8% para cargos relacionados a engenharia de dados na próxima década*, que é 5% maior que a taxa de crescimento média para outros papéis profissionais. Ajuda o fato de que a indústria de dados e análises deve crescer mais de 30% até 2033, alcançando um valor de mercado de quase 900 bilhões até 2032.

Na verdadeira moda da engenharia de dados, os dados não mentem; embora possa ser tentador incluir a engenharia de dados com o “hype” que acompanhou os papéis de ciência de dados na década de 2010, os papéis que apoiam e escalam a infraestrutura de dados são mais necessários do que nunca. Anecdoticamente, minha equipe dobrou de tamanho no último trimestre. À medida que parece que estamos nos aproximando do pico de uma bolha de IA, as empresas estão se afastando do investimento em tecnologia “tendência” e trabalhando para extrair mais valor dos dados que já possuem, investindo em produtos que tornam esses dados disponíveis para consumidores internos de dados.

Embora seja verdade que o mercado de trabalho tecnológico em geral tem esfriado nos últimos 1-2 anos, ainda há espaço para indivíduos apaixonados e especializados que podem aprimorar suas habilidades e enfrentar a confusa documentação da API para agregar e extrair dados estruturados e não estruturados de várias fontes.

Mesmo com o crescimento do cargo, é importante ir além de apenas aprender Python e SQL; a competência básica não é mais suficiente. Para ter sucesso em um papel cada vez mais competitivo, você precisa cultivar um genuíno interesse, como eu anotei em 2022: “[Se] você não gosta de aprender e empregar novas técnicas de engenharia de dados e, assim como é importante, não admira o produto e as equipes que está apoiando, não importará quanto dinheiro você ganhar, porque provavelmente não estará realizado profissional ou pessoalmente.”

E se você reuniu a paixão, mas não sabe onde começar, escrevi uma série de duas partes sobre como entrar no campo da ciência de dados/análise de dados em sua iteração atual.

Note que nenhum desses conselhos inclui aprender a escrever prompts.

*A cifra do BLS dos EUA refere-se ao cargo de arquiteto de dados, um substituto para a engenharia de dados, pois o BLS não se refere à DE explicitamente

Obrigado pela leitura,

-Zach Quinn