数据研发工程师

共8个方向，下拉查看 ① 数据研发工程师/专家-【商业化/电商/用户增长方向】 职位描述 1、负责各个业务线数据仓库建设，构建商业化垂直数据集市； 2、定义并开发业务核心指标数据，负责垂直业务数据建模，如用户画像； 3、根据具体问题，设计并实现合适的可视化展示，构建数据持续观测平台； 4、参与数据平台的搭建，优化数据处理流程具体工作； 5、数据收集，反作弊数据仓库，用户数据仓库，UGC数据仓库，审核数据仓库的研发； 6、A/B测试实时ETL研发，转化漏斗分析平台研发。 任职要求 1、3年以上工作经验； 2、有Hive，Kafka，Spark，Storm，Hbase，Flink等两种以上两年以上使用经验； 3、熟悉数据仓库建设方法和ETL相关技术，对于数据的设计有自己的思考，具备优秀的数学思维和建模思维； 4、熟练使用SQL，对类SQL有过优化经验，对数据倾斜有深度的理解。了解特征工程常用方法； 5、具备扎实的编程功底，很强的学习、分析和解决问题能力，良好的团队意识和协作精神，有较强的内外沟通能力。 ② 数据研发工程师/专家-【数据应用】 职位描述 1、建设全站的基础数据能力，提供丰富、稳定的短视频社区公共基础数据，探索更多数据能力的增量价值； 2、各类数据专题体系（如社交、内容生产/消费、直播等）的建设，通过数据+算法+产品，赋能业务，提供全链路、可分析、可复用的数据能力，提供更直观、更具分析指导性的产品化能力； 3、建设公司层面的核心数据资产，与业务场景深度结合，为社区服务提供数据服务化、数据业务化的数据&产品解决方案； 4、建设全站数据治理和管理体系，结合业务+元数据+技术，保障公司各个业务服务的数据质量和产出稳定。 任职要求 1、较为丰富的数据仓库及数据平台架构经验，期望通过对业务的深入理解，进行数据仓库、数据体系和数据价值的建设和优化； 2、有从事分布式数据存储与计算平台应用开发经验，熟悉Hive，Kafka，Spark，Storm，Hbase，Flink 等相关技术并有相关开发经验； 3、有系统化的思维和工程化的能力，掌握JAVA和前端技术，有工程化落地的经验尤佳； 4、有较丰富的应用算法开发经验，对机器学习和AI有一定的了解； 5、3-5年及更长的经验均有需求。 ③ 数据研发工程师/专家-【资源治理】 职位描述 1、负责快手大数据集群资源管理与治理体系的规划，开展大数据资源管理与治理平台的研发与产品的落地工作，推进资源成本的优化； 2、负责快手大数据集群资源增长与预算体系的规划，制定集群资源增长预算模型，通过科学的方式管控集群成本。 任职要求 1、计算机或相关专业本科及以上学历； 2、精通Java语言，扎实的计算机理论与编程功底； 3、熟悉Hadoop生态等大数据架构组件； 4、精通数据仓库建设理论方法，熟悉数据建模，精通SQL语言，了解数据开发全流程，对数据采集、数据集成、数据开发、数据分析等大数据开发有实践经验； 5、思维活跃，很强的问题分析与解决能力，强烈的责任心，对工作有激情，良好的沟通能力。 符合以下条件优先： 1、有大数据集群资源管理与治理平台研发、实际治理经验者优先； 2、有实际大数据资源预算规划管理经验者优先。 ④ 数据研发工程师/专家-【实时计算】 职位描述 1、参与快手海量数据实时处理与分析，根据需求对数据进行实时分析处理； 2、负责快手实时数据仓库的建设以及实时指标的开发工作； 3、与离线数仓、产品、算法同学一起构建灵活的数据产品。 任职要求 1、本科及以上学历，硕士博士优先，计算机、数学、软件等相关专业； 2、扎实的Java语言基础，熟悉常用数据结构和算法； 3、熟悉至少一种实时计算引擎：Storm, Spark, Flink；对Hadoop生态其他组件有一定了解，比如 HBase，Hadoop, Hive, Druid等 ； 4、良好的数据洞察力、较强的逻辑推理能力； 5、良好的沟通能力和自我学习能力，良好的团队合作精神，做事严谨、乐观； 6、有数据仓库开发、实时数据平台建设、大规模数据处理经验优先。 ⑤ 数据架构研发工程师/专家 职位描述 1、Hadoop生态子系统的研发、测试与优化工作，解决实际业务需求与性能问题。子系统包括但不限于HDFS，HBASE，YARN，SPARK，KAFKA等。 2、承担数千台规模Hadoop集群的管理工作，解决超大规模Hadoop集群在应用与运行过程中的出现各种问题，保证集群的高效稳定运行。 3、和开源社区保持交流，从社区引入对公司业务场景有帮助的特性与系统，或将内部研发的功能贡献到社区。 任职要求 1、计算机或相关专业本科及以上学历。 2、思维活跃，熟悉Hadoop生态子系统（至少一个），精读过源代码者尤佳，所开发代码被开源社区接受者尤佳。 3、优秀的设计与编码能力，工程质量自我要求高，针对业务需求与问题，可快速设计与实现解决方案。 4、很强的问题分析与解决能力，强烈的责任心，对工作有激情，良好的沟通能力。 ⑥ 数据抓取挖掘工程师 职位描述 1、负责信息流通用爬虫系统核心模块和功能（包括调度、去重、清洗、过滤等）的设计、开发和调优， 提升信息流入库效率、稳定性、数据质量和自动化程度； 2、负责垂直 APP 的数据抓取和爬取链路优化（包括 Android APP 反编译、脱壳、加密参数破解、抓取攻防等），提升抓取能力； 3、负责全网页面的理解分析，包括：网页结构化抽取，页面分析识别、页面质量分析等; 4、负责内容开放平台的建设； 5、可以根据自己兴趣和技能特长从上述工作中专攻1-2个方向。 任职要求 1、计算机科学或其他相关专业本科及以上学历, 扎实的算法和编程能力; 2、精通 Java 及相关技术栈，熟悉 Python 或 Shell ，熟悉 Linux开发环境； 3、具有两年以上网络爬虫开发经验，熟悉网络数据抓取（或 APP 抓取 ）的工作原理及工作流程； 4、熟悉常见的反爬虫策略，具有海量数据处理和分布式计算开发经验者优先； 5、自驱，有一定抗压能力，乐于挑战和学习新技术新知识。 ⑦ 数据平台研发工程师-【数据中台】 职位描述 1、研发高可靠、高可扩展、易用的公司统一大数据平台，包括大规模工作流调度、异构数据交换和同步、百万级并发数据服务化、统一指标模型管理和服务等核心大数据平台和工具链的研发和性能优化。 任职要求 1、 有Hive，Clickhouse，Presto，Impala，Airflow，Kafka，Datax，Sqoop，MapReduce，Spark，Flink等两种以上1年以上使用和优化经验； 2、参与或主导过大型数据平台建设项目，对大数据平台有一定的整体感知和把控能力； 3、熟悉分布式基本原理，对高可靠，高并发，高吞吐系统特性有一定理解； 4、 精通Java，具备较强的分布式架构和研发实现能力； 5、本科及以上学历，计算机相关专业，一年以上工作经验。 符合以下条件优先： 1、研究过开源代码并有代码贡献。 ⑧ 数据挖掘/算法工程师-【数据应用】 职位描述 1、整合海量多维数据，进行全站数据挖掘，构建用户画像体系、时空知识体系，并搭建全站核心数据资产管理平台； 2、深入业务场景，利用全站海量多维数据，综合运用统计和数据挖掘/机器学习的方法，探索平台新的业务增长点，为各类业务系统提供特征和模型支撑； 3、深度参与归因分析、异常检测、知识图谱等专题类建设工作。 任职要求 1、具备机器学习或者数据挖掘的研究和项目背景；熟练掌握分类、回归、聚类等机器学习模型，能够把业务问题拆解成适合的数据、算法问题，并完成价值落地； 2、扎实的编程基础，精通至少一门编程语言； 有大数据计算、分布式算法开发经验； 3、好奇心，有良好的的数据和业务敏感度，对数据驱动业务有极大的兴趣。 4、本科及以上学历，3年以上数据挖掘、机器学习、大规模数据分析相关经验； 5、有较强的数理统计和挖掘算法功底，灵活使用Python/SQL； 6、熟悉Hadoop、Hive、Spark，对数据仓库、特征工程有正确的认识；