●热爱开发,熟练掌握Python
●熟练使用Tornado、Flask等Web框架
●熟悉Mysql、Sqlite、redis等主流数据库,RabbitMQ、Kafka等消息系统
●亲历亿级用户系统构建
●也能用golang写服务程序、Typescript写前端代码
后端服务器开发
Chengdu,CN
[email protected]
1)CFlow:为了清洗数据,需要每天跑几百个脚本,其中有些需要在规定的时间完成,有些需要依赖其他脚本执行后再运行。之前都是零零散散完成的,效率低。我用Python开发,多线程工作,选用etcd来负责主从切换,通过调度器,读取Mysql,把满足要求的任务上传到Kafka,执行器从Kafka下载任务完成后把结果存入Mysql中。最后效果如下:
- 使用两台ecs,每天从凌晨零点开始,调度完成800+脚本,脚本随时增加中
- 服务可用率99.99%,可横向扩展(调度器和执行器均可同时运行多个,完善的重试机制)
- 定时调度(类似linux crontab)
- 依赖调度(满足依赖关系后才会启动任务)
- 任务格式,任意命令行可执行程序
2)重构消息系统:为了满足运动社交需要,咕咚一直有消息系统,由于存在消息慢,耗用资源高等缺点,我重构了消息系统,用Python的Tornado框架搭建服务器架构,用Mysql进行管理数据,用3台ecs构建RabbitMQ集群实现消息的发布/订阅,异步处理等。最后效果:
- 使用4台ecs处理消息服务,满足咕咚1.5亿用户的私聊、跑团等消息及时到达
- 服务可用率99.99%,可横向扩展(增加消息服务就行)
3)训练营教练后台:方便教练查看训练营中用户运动、饮食、身体数据,可以针对用户数据打标签。我用Python的Tornado框架做服务器,layui前端框架做网页,用Mysql关系型数据库做数据存储,提供API供同伴调用,开发出来的服务用dock进行管理,采用微服务的模式上线,最后效果:
- 满足设计目标,每个教练都能看到自己的学员并且能够对用户数据打标签
- 服务可用率99.99%
4)爬虫项目:爬取baihe.com、boohee.com、ifeng.com、jiayuan.com、www.youyuan.com、mop.com、bilibili.com、instagram、twitter等社交网站数据以及腾讯、抖音等网站的视频,采用Python的requests请求数据,对抗反爬虫的IP封锁、token验证、变种加密,获取到数据后,用BeautifulSoup分析网页,目标数据存入Mysql中,最后效果:
- 爬取了4000+万的用户昵称和头像
- 每天定时更新400+视频
● 大型分布式数字监控系统开发迭代及优化;
在职研究生,平衡了家庭工作学习,顺利毕业
大学本科
●热爱开发,熟练掌握Python
●熟练使用Tornado、Flask等Web框架
●熟悉Mysql、Sqlite、redis等主流数据库,RabbitMQ、Kafka等消息系统
●亲历亿级用户系统构建
●也能用golang写服务程序、Typescript写前端代码
后端服务器开发
Chengdu,CN
[email protected]
1)CFlow:为了清洗数据,需要每天跑几百个脚本,其中有些需要在规定的时间完成,有些需要依赖其他脚本执行后再运行。之前都是零零散散完成的,效率低。我用Python开发,多线程工作,选用etcd来负责主从切换,通过调度器,读取Mysql,把满足要求的任务上传到Kafka,执行器从Kafka下载任务完成后把结果存入Mysql中。最后效果如下:
- 使用两台ecs,每天从凌晨零点开始,调度完成800+脚本,脚本随时增加中
- 服务可用率99.99%,可横向扩展(调度器和执行器均可同时运行多个,完善的重试机制)
- 定时调度(类似linux crontab)
- 依赖调度(满足依赖关系后才会启动任务)
- 任务格式,任意命令行可执行程序
2)重构消息系统:为了满足运动社交需要,咕咚一直有消息系统,由于存在消息慢,耗用资源高等缺点,我重构了消息系统,用Python的Tornado框架搭建服务器架构,用Mysql进行管理数据,用3台ecs构建RabbitMQ集群实现消息的发布/订阅,异步处理等。最后效果:
- 使用4台ecs处理消息服务,满足咕咚1.5亿用户的私聊、跑团等消息及时到达
- 服务可用率99.99%,可横向扩展(增加消息服务就行)
3)训练营教练后台:方便教练查看训练营中用户运动、饮食、身体数据,可以针对用户数据打标签。我用Python的Tornado框架做服务器,layui前端框架做网页,用Mysql关系型数据库做数据存储,提供API供同伴调用,开发出来的服务用dock进行管理,采用微服务的模式上线,最后效果:
- 满足设计目标,每个教练都能看到自己的学员并且能够对用户数据打标签
- 服务可用率99.99%
4)爬虫项目:爬取baihe.com、boohee.com、ifeng.com、jiayuan.com、www.youyuan.com、mop.com、bilibili.com、instagram、twitter等社交网站数据以及腾讯、抖音等网站的视频,采用Python的requests请求数据,对抗反爬虫的IP封锁、token验证、变种加密,获取到数据后,用BeautifulSoup分析网页,目标数据存入Mysql中,最后效果:
- 爬取了4000+万的用户昵称和头像
- 每天定时更新400+视频
● 大型分布式数字监控系统开发迭代及优化;
在职研究生,平衡了家庭工作学习,顺利毕业
大学本科