什么是分析工程师？初学者指南

alishabintehuma

分析工程位于数据科学和数据工程的交叉点。虽然这个领域相对较新，但其基础在于数据处理、处理和解释的基础知识。对于数据世界的新手来说，了解分析工程至关重要。 它不仅暗示了数据生态系统如何演变，还强调了理解整个数据堆栈（从数据收集和转换，到分析和可操作的见解）日益重要。 我将揭开这个令人兴奋的领域的历史并讨论职业道路！ 什么是分析工程？ 它从哪里来的？ 什么是分析工程师？ 分析工程师与数据工程师：有什么区别？ 如何成为一名分析工程师 最后的想法 1. 什么是分析工程？ 分析工程与数据分析、数据科学和数据工程密切相关。它出现在这些领域的交叉点，旨在简化数据转换过程。分析工程的核心是连接数据的技术和分析方面。 分析工程师负责构建可靠的管道，以使其可访问和可操作的方式对数据进行建模，并确保数据具有高质量。他们处理原始数据并将其转换为下游用户可以使用的格式。它们的影响相当大，因为它们的许多用户包括数据分析师、数据科学家、机器学习工程师和业务用户。 分析工程从何而来？ 数据分析专注于将原始数据转化为可操作的见解的过程。然而，从历史上看，这个过程是支离破碎的。数据科学家专注于高级建模以发现见解和模式。数据工程师构建并维护存储、管理和向下游提供数据以进行分析所需的基础设施和管道。

理解这些数据变得越来越复杂，需要一个能够在数据工程的技术复杂性与数据科学的分析严谨性之间架起桥梁的角色。实时数据处理和敏捷数据运营的需求也暴露了市场的缺口。 分析工程师登场：他们不仅了解数据基础设施，还了解数据分析的细微差别。他们设计和维护可扩展的数据工作流程，确保数据完整性，并创建用户友好的数据使用平台。 我们可以将这个角色的起源追溯到 Fishtown Analytics ，该公司开发了一种名为dbt的工具，即数据 马来西亚数据 构建工具。DBT 是使数据分析师能够以不同方式对数据仓库中的数据进行转换和建模的关键。他们可以直接在SQL中执行这些转换，将 ETL（提取、转换、加载）过程转移到 ELT（提取、加载、转换）。dbt 培育了一个活跃的大型社区，分享最佳实践，创建开源 dbt 包，并共同推动分析工程向前发展。 因此，分析工程不仅仅涉及收集和存储；还涉及收集和存储。它涉及高效且有效地将数据转化为战略资产。 2.什么是分析工程师？ 您可以将分析工程师视为将数据科学原理与数据工程师的架构专业知识相结合的人员。他们是混合型专业人员，通常专注于构建强大且可扩展的数据工作流程，以帮助其他业务职能部门自信地使用其内部数据资产。 在实践中，分析工程师可能会编写 SQL 脚本将数据模塑到用户友好的表中，使用数据构建工具 (dbt) 等工具来测试和记录数据转换，并使用 Snowflake 或 BigQuery 等平台来确保数据以最佳方式存储。



他们的工作确保当数据科学家或分析师查询数据时，结果是准确、一致和及时的。 分析工程师应该超越技术层面来了解他们工作的业务环境。他们经常与利益相关者合作，在创建模型之前了解他们的数据需求，以确保与公司的分析优先级保持一致。 分析工程师遍布各个行业。例如，在医疗保健领域工作的分析工程师可能负责存储和转换实时收集患者数据的可穿戴设备传输的数据。他们必须设计一个系统来提取数据、清理数据（例如删除错误数据）并为医疗保健专业人员提供访问数据的方法。他们面临的一个挑战是必须针对每个患者档案整合来自许多不同来源和类型的数据，例如实验室结果和电子病历。 3. 分析工程师、数据工程师、数据科学家：有什么区别？ 更好地理解这些角色如何不同但又相互关联的一种方法是检查与数据处理和分析管道中每个角色相关的特定任务、工具和目标。 此表提供了概述，但请记住，根据特定行业、公司或不断发展的技术，角色可能会略有不同。 根据技能、工具和职责将分析工程师与其他数据角色进行比较的表格。 根据技能、工具和职责将分析工程师与其他数据角色进行比较的表格。 4. 如何成为一名分析工程师 尽管通往分析工程职业生涯的途径有很多，但典型的途径通常涉及技术培训和实践经验的结合。