基本信息
姓名:酆晓杰 性别:男
籍贯:南京, 江苏 年龄:43
学历:硕士(东南大学) 专业: 计算机应用
手机号码:13851782349
技术Blog:http://www.cnblogs.com/fxjwind/
个人总结
期望领域,大数据和数据库系统研发,AIOPS研发,可观测性和监控系统,大模型应用研发
- 15年以上工程研发,架构设计和团队管理经验,覆盖终端设备,服务端和云端的产品研发。
- 8年以上数据库系统,可观测和AIOPS体系研发经验。阿里云数据库的数据链路,诊断系统,可观测性系统的Founder。
- 8年以上大数据系统和数据应用研发和实际产品经验,应对数百万级以上QPS和多次双十一的流量洪峰。
- 较强学习能力和预研创新能力,在数据领域有较多的技术成果输出,并且近年在数据库顶级会议(SIGMOD,VLDB)参与发表多篇论文和国内专利。
- 在机器学习和深度学习有扎实的理论积累,熟悉大模型相关理论和工程实践,并对该领域应用抱有较高兴趣和热情。
工作经历
阿里云,云数据库团队(2014.04 ~ now)
RDS团队,技术专家(2014 ~ 2016),代表性产品,SQL审计,性能数据,天象数据库诊断系统
-建立数据库产品的实时数据链路体系(基于JStorm和自建Kafka),着重解决海量数据下数据链路的failover和数据完整性问题。思路参考博客, 如何保障流式处理的数据一致性;Apche Kafka的生与死 – failover机制详解。
-基于数据链路,研发新的SQL审计和性能数据产品,有效解决之前数据大量丢失的问题,流量增长数十倍,数据达到QPS150万每秒,存储量达到PB级别。
-研发数据库监控和智能诊断系统,天象。有效诊断数据库服务受损时的常见原因,包含网络异常,主机异常,热点争抢等。思路参考论文,Tcprt(2018 SIGMOD)。
-研发数据库智能迁移系统,移山。根据主机资源情况,和实例的运行资源,动态的进行实例迁移,以满足热点打散,压缩成本等需求。
PolarDB团队,高级技术专家,TL(5~15人团队)(2016 ~ 2021),代表性产品,SQL洞察,秒级性能,LogStore
(2016 ~ 2018)数据链路升级,更高的数据质量,PB级别的数据量,日益增多的数据需求,更多的部署区域
-基于Flink进行数据链路升级改造,更加有效的保障Exactly-Once机制。
-快速支持更多产品和数据源的需求,研发基于Schema的通用采集和ETL框架。有效支持数据库部门数十种数据库产品和数据源。
-全链路Trace机制和SLA保证,最高可达秒级延迟,SLA达到4个9。
-基于配置中心的多区域,多Pipeline的自动调度和运维,基于Flink的checkpoint和savepoint可以保障数据完整性。
(2018 ~ 2020)日志和时序数据库研发
-Logstore,云原生,多租户的日志存储和检索分析数据库。部署1000+台物理机,存储日志量50+PB,覆盖阿里云全region。满足SQL洞察产品的,低成本,多租户,按租户可配置存储时长,轻量AP等特征;参考,LogStore (2021 SIGMOD)。
-Timon,高性能时序库,实现Dataflow模型,实现乱序窗口聚合功能。部署量600+物理机。满足秒级性能产品的高性能,低延迟的需求;将dataflow模型offload到存储层,极大降低ETL层的复杂度;参考,Timon (2020 SIGMOD)。
-升级数据产品SQL洞察和秒级性能数据,达数万用户,迄今达上亿级别营收。
(2020 ~ 2021)新型HTAP数据库内核研发
-外置Calcite优化器,优化PolarDB慢查询的执行计划,通过SPM和hint注入的方式和PolarDB交互。
-类Snowflake查询引擎原型研发,基于Calcite优化器和Presto的执行器,对PolarDB的数据进行高并行查询。 纯粹云原生架构,数据以列式文件和轻索引的方式存储在OSS中,核心技术包含深度数据缓存,向量化执行SMID,内存堆外列式结构(基于arrow),优化器,执行算子优化等。
DBaaS团队,高级技术专家,TL(10人团队)(2021 ~ ),代表性产品,Serverless基础设施,DBaaS可观测性
-数据库Serverless弹性决策能力研发,创新提出分层解耦决策设计,分为采集触发,本地决策,中心决策等,有效提升数据处理和传输效率,并通过本地结合中心决策能力,兼具决策的实时性和完备性。 实现本地弹升、弹降成功率 99.95%;实现5s内完成弹升弹降决策,并保证实例负载80%的时间维持在合理区间(50%~80%)。并基于中心决策提供冷CU调度,Warm RO能力,主动弹升能力,预测准确率误差低于0.2cu,扩缩容事件命中率高达90%,将用户服务受损时间降低20%,极大提升用户体验。 线上支持阿里云数据库PolarDB,RDS等核心Serverless产品。
-DBaaS可观测方案研发,基于OpenTelemetry开源协议完成云数据库组件的Tracing,Metrics,Logs等多维可观测性数据的接入。解决Prometheus开源方案不支持指标分组,面对大规模细粒度监控时性能瓶颈,在兼容通用接入协议的同时,提供基于schema指标分组的通用ETL能力,接入自研时序存储,可支持云上百万节点规模的秒级监控。 针对OpenTelemetry在Logs接入上的能力缺失,定义组件日志接入协议,接入阿里云日志存储,并实现日志和Metrics的关联性分析。
-构建包含内核事件、主机事件、参数变更事件、生命周期事件等共计100多种OPS事件。并在磁盘扩缩容,主机宕机下线,实例可用性异常切换等场景实现OPS动作的自动闭环。 基于easy-rules研发事件推理引擎,实现重复事件抑制,事件派生,多事件聚合等功能。基于时序metrics数据和ARIMA自回归算法,针对数据库链接数突增,内存泄露,CPUHang等场景进行实时探测,线上部署实际准确率95%。
三星电子(中国)研发中心(2008.06 ~2014.04)
TL(5~10人团队),社交媒体的内容爬取,ETL,分类,内容抽取和Entity识别,内容推荐
基于Storm和Kafka实时组件,构建采集,ETL,分析,实时推荐的平台;针对Twitter实时内容,对于实时电视节目进行热度排名和推荐,节目相关各种资源(博客, 图片, 和视频)推荐,并在三星数字电视事业部的产品中完成落地和上线。
摩托罗拉电子有限公司南京软件研发中心(2005.04~2008.06)
软件工程师,包含手机应用开发,嵌入式数据库开发,用户行为预测模型开发
教育经历
2002/09 – 2005/04: 东南大学 | 计算机科学与工程系 | 计算机应用专业 | 硕士
1998/09 – 2002/06: 海军工程大学 | 计算机应用专业 | 本科
论文及其他
- (2021 SIGMOD). LogStore: A Cloud-Native and Multi-Tenant Log Database. In Proceedings of the 2021 International Conference on Management of Data (pp. 2464-2476).
- (2021 TSC). YISHAN: Managing Large-scale Cloud Database Instances via Machine Learning.
- (2020 SIGMOD). Timon: A Timestamped Event Database for Efficient Telemetry Data Processing and Analytics. In Proceedings of the 2020 ACM SIGMOD International Conference on Management of Data (pp. 739-753).
- (2020 AAAI). Multi-range attentive bicomponent graph convolutional network for traffic forecasting. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 34, No. 04, pp. 3529-3536).
- (2019 VLDB). S3: a scalable in-memory skip-list index for key-value store. Proceedings of the VLDB Endowment, 12(12), 2183-2194.
- (2018 SIGMOD). Tcprt: Instrument and diagnostic analysis system for service quality of cloud databases at massive scale in real-time. In Proceedings of the 2018 International Conference on Management of Data (pp. 615-627).
- (2012).Cloudera Certified Developer for Apache Hadoop
- (2010).Description logic rule based semantic web service composition method, Journal of Computational Information Systems.