数据开发工程师/架构师--yao 互联网的人-丰富的数据仓库经验
岗位职责
o 结合游戏运营和广告投放业务,了解数据分析需求,总结数据模型,参与数据平台的功 能设计和开发计划;
o 负责数据采集、清洗、抽取、存储、监控和展示的主要过程,选用合适的开源产品和技 术方案,构建良好的处理流程、查询引擎、调度系统和数据仓库; o 深入挖掘数据的价值,逐步实现数据驱动下的智能运营和广告自动化等服务;
o 持续优化架构和代码,保证系统稳定高效运行,以适应高速增长的业务和用户规模;
o 定位和解决各类线上问题,协助版本发布、性能监测等运维工作;
任职要求
o 3 年及以上后端服务器开发经验,2 年或以上大数据开发经验;
o 熟练掌握 NodeJs(Javascript)、Java、Python 中至少 1 种开发语言,掌握 Spring Boot、 Vert.x、Django、Express 或其他一种开发框架;
o 熟悉大数据处理和查询产品,精通 Spark、Flink、Presto、Impala 中至少一种,有实际 的大数据处理经验(每日 TB 级以上);
o 熟悉多维数据仓库和存储方案的工作原理和适用场景,例如 HBase、Kudu、Kylin、Druid 中至少两种;
o 熟悉大数据 ETL 流程调度(Airflow、Conductor 等),了解数据延误和回溯方案;
o 熟练掌握 SQL 查询语句,关注 SQL 可读性和执行性能;
o 了解 AWS、GCP、阿里云等云计算平台,特别是云上大数据产品;
o 有扎实的计算机技术基础,热爱学习,对领域内的主流和新兴技术充满兴趣;
o 工作认真、踏实、负责。团队合作能力强,乐于帮助别人并分享自己的经验和知识;