第1章
ETL概念 · 星型/雪花型 · OLTP/OLAP · 分层ODS/DWD/DWS/ADS
第2章
MySQL/PostgreSQL · CSV/JSON/XML · API · 日志采集
第3章
完整性/准确性/一致性/时效性 · 常见问题 · 清洗策略
第4章
全量抽取 · 增量(时间戳/CDC) · 实时(Kafka) · 批量调度
第5章
字段映射 · 类型转换 · 脱敏 · 标准化 · 聚合
第6章
全量/增量(Merge/Upsert) · SCD · 性能优化
第7章
复杂查询 · 窗口函数 · CTE · 存储过程 · 优化技巧
第8章
环境搭建 · Pandas入门 · DataFrame · 数据读写
第9章
去重/缺失值/异常值 · apply/map/groupby · merge/concat
第10章
完整ETL脚本 · 调度与日志 · 错误处理与重试
第11章
安装配置 · 转换/作业 · 核心组件(输入/输出/转换)
第12章
文件→DB · 多表关联 · 数据校验 · 作业调度
第13章
架构 · 客户端工具 · Mapping与Workflow
第14章
复杂Mapping · Lookup/Expression · 变量/参数 · 调优
第15章
架构 · Parallel Job · Stage类型与连接
第16章
数据分区/收集 · 复杂转换 · 作业序列 · 监控
第17章
Studio安装 · 组件面板 · Job设计 · tMap详解
第18章
多数据源整合 · 数据质量组件 · 部署与调度
第19章
架构 · DAG定义 · Operator/Task · 调度配置
第20章
ETL DAG · 依赖管理 · 监控告警 · Docker集成
第21章
Kafka · Spark Streaming · Flink · 实时架构设计
第22章
数据湖概念 · Delta Lake · Iceberg · Hudi · 实践
第23章
Redshift · BigQuery · Snowflake · Glue/Dataflow
第24章
并行处理 · 分区 · 索引 · 压缩 · 资源管理
第25章
数据血缘 · 数据目录 · 质量监控 · 元数据采集
第26章
单元/集成/回归测试 · 测试数据生成 · 调试技巧
第27章
日志管理 · 告警 · 性能监控 · 故障恢复 · 版本管理
第28章
数据加密 · 访问控制 · 脱敏 · GDPR/CCPA · 审计日志
第29章
Lambda/Kappa架构 · 数据平台设计 · 技术选型
第30章
端到端数据管道 · 需求/架构/开发/测试/部署 · 文档