1）CFlow：为了清洗数据，需要每天跑几百个脚本，其中有些需要在规定的时间完成，有些需要依赖其他脚本执行后再运行。之前都是零零散散完成的，效率低。我用Python开发，多线程工作，选用etcd来负责主从切换，通过调度器，读取Mysql，把满足要求的任务上传到Kafka，执行器从Kafka下载任务完成后把结果存入Mysql中。最后效果如下： - 使用两台ecs，每天从凌晨零点开始，调度完成800+脚本，脚本随时增加中 - 服务可用率99.99%，可横向扩展(调度器和执行器均可同时运行多个，完善的重试机制) - 定时调度(类似linux crontab) - 依赖调度(满足依赖关系后才会启动任务) - 任务格式，任意命令行可执行程序 2）重构消息系统：为了满足运动社交需要，咕咚一直有消息系统，由于存在消息慢，耗用资源高等缺点，我重构了消息系统，用Python的Tornado框架搭建服务器架构，用Mysql进行管理数据，用3台ecs构建RabbitMQ集群实现消息的发布／订阅，异步处理等。最后效果： - 使用4台ecs处理消息服务，满足咕咚1.5亿用户的私聊、跑团等消息及时到达 - 服务可用率99.99%，可横向扩展(增加消息服务就行) 3）训练营教练后台：方便教练查看训练营中用户运动、饮食、身体数据，可以针对用户数据打标签。我用Python的Tornado框架做服务器，layui前端框架做网页，用Mysql关系型数据库做数据存储，提供API供同伴调用，开发出来的服务用dock进行管理，采用微服务的模式上线，最后效果： - 满足设计目标，每个教练都能看到自己的学员并且能够对用户数据打标签 - 服务可用率99.99% 4）爬虫项目：爬取baihe.com、boohee.com、ifeng.com、jiayuan.com、www.youyuan.com、mop.com、bilibili.com、instagram、twitter等社交网站数据以及腾讯、抖音等网站的视频，采用Python的requests请求数据，对抗反爬虫的IP封锁、token验证、变种加密，获取到数据后，用BeautifulSoup分析网页，目标数据存入Mysql中，最后效果： - 爬取了4000+万的用户昵称和头像 - 每天定时更新400+视频

● 大型分布式数字监控系统开发迭代及优化；