APRENDA PANDAS: Domine Manipulação, Integração e Automação de Dados em Projetos Corporativos
About this ebook
Este livro é indicado para estudantes e profissionais que buscam dominar manipulação, integração e automação de dados com Pandas e Python em ambientes produtivos, cobrindo desde a configuração do ambiente até a entrega de pipelines confiáveis e escaláveis. Aborda leitura e escrita eficiente (CSV, Parquet, Excel, SQL, APIs), transformação avançada de dados, validação, profiling, otimização de performance, versionamento, automação e integração com frameworks essenciais de engenharia de dados, cloud e machine learning, sempre com foco em governança e conformidade.
Inclui:
• Configuração de ambientes Python, pandas, pyarrow, venv
• Ingestão e exportação: CSV, Parquet, Excel, SQLAlchemy, APIs, integração cloud • Transformações avançadas: merge, groupby, pivot, rolling, reshape, categóricos otimizados
• Otimização: vectorização, chunking, Dask, Modin, numexpr, memory profiling
• Validação e auditoria: Pandera, Great Expectations, testes automatizados, DVC
•Integração com pipelines: Airflow, Prefect, automação, monitoramento, versionamento
• Boas práticas de governança, compliance e operações escaláveis
Amplie sua atuação entregando soluções profissionais e robustas de automação, integração e orquestração de dados, potencializando a eficiência, a segurança e o valor dos projetos em ambientes corporativos, cloud e integrações com machine learning.
pandas, python, engenharia de dados, data pipeline, pyarrow, parquet, dask, modin, sqlalchemy, airflow, prefect, great-expectations, dvc, etl, automação, cloud, análise de dados, compliance, performance
About the author
Diego Rodrigues
Autor Técnico e Pesquisador Independente
ORCID: https://orcid.org/0009-0006-
StudioD21 Smart Tech Content & Intell Systems
E-mail: [email protected]
LinkedIn: linkedin.com/in/diegoexpertai
Autor técnico internacional (tech writer) com foco em produção estruturada de conhecimento aplicado. É fundador da StudioD21 Smart Tech Content & Intell Systems, onde lidera a criação de frameworks inteligentes e a publicação de livros técnicos didáticos e com suporte por inteligência artificial, como as séries Kali Linux Extreme, SMARTBOOKS D21, entre outras.
Detentor de 42 certificações internacionais emitidas por instituições como IBM, Google, Microsoft, AWS, Cisco, META, Ec-Council, Palo Alto e Universidade de Boston, atua nos campos de Inteligência Artificial, Machine Learning, Ciência de Dados, Big Data, Blockchain, Tecnologias de Conectividade, Ethical Hacking e Threat Intelligence.
Desde 2003, desenvolveu mais de 200 projetos técnicos para marcas no Brasil, EUA e México. Em 2024, consolidou-se como um dos maiores autores de livros técnicos da nova geração, com mais de 180 títulos publicados em seis idiomas. Seu trabalho tem como base o protocolo próprio de escrita técnica aplicada TECHWRITE 2.3, voltado à escalabilidade, precisão conceitual e aplicabilidade prática em ambientes profissionais.
