张渊

男,29岁,百度资深研发工程师。从事搜索引擎、大数据、分布式方向。

[email protected]
(86) 186-6717-5621

Skills


  • 熟练掌握算法、数据结构。
  • 熟练使用C/C++语言,熟悉Java、Python等多种编程语言。
  • 深入理解现代搜索引擎技术。深入认识从离线到在线,从架构到策略的全部机制。
  • 了解机器学习算法基本原理。


  • 熟练掌握分布式存储、计算理论及原理。熟悉业界各类知名的分布式存储/计算系统。深入研究ZooKeeper、LevelDB等系统实现。
  • 熟练掌握服务端技术,较深入理解Linux内核。
  • 知识面广泛,关注各种技术发展及开源进展:从前端到后端、底层;从架构到算法、策略。

Experiences - 百度(2014.2 - 至今)

分布式KV存储系统,2016.3 - 至今

为千亿级网页的摘要+正排,及数百路特征数据,提供高性能、高可用的实时读写服务。支撑数百万级qps的百度搜索引擎查询服务。

  • 热升级支持。解决热升级过程中数据丢失及写入不可用等问题。
  • 存储引擎性能调研。LSM模型在维护有序性上耗费了大量资源,在非全局有序场景下,非LSM模型可能是更好选择。
  • key级保序性支持。解决相同key的数据相互覆盖的问题,避免老的数据覆盖新数据。

海量数据传输平台,2015.6 - 至今

支撑千亿级网页,数百路网页特征、上百TB数据多机房实时读写,建立统一传输平台。有力支持百度索引实时化进程。

  • 异地多备份传输,机房级容错。一份数据写入,多个机房生效,部分机房故障,系统能够自动容错恢复。
  • 优化网络带宽。节省公司关键链路数十Gb网络带宽。
  • 优化传输时延。降低传输长尾及失败率1到2个数量级。
  • 数据安全及稳定性建设。建立分布式权限+流控机制,控制每路数据资源占用情况,保障整体吞吐和高时效性数据传输时延。
  • 轻量计算策略支持。业务方能够定制轻量数据变换策略,支持流式数据处理模型。

国际化视频APP,2014.10 - 2015.5

随着移动计算的兴起,在用户获取信息方面,推荐或者推送大有取代搜索之势。国际化视频APP主要面向阿、泰、葡等语种国家,提供精选视频及个性化推荐视频服务。

  • 后端架构设计。设计后端数据流程及各模块角色划分,大体包括抓取、审核、在线、推荐等环节。
  • 服务高可用建设。各模块去单点、数据异地备份、全局流量调度等。
  • 代码开发、实现。主要是在线端代码开发。

国际化视频搜索服务,2014.2 - 2014.10

随着移动计算的兴起,在用户获取信息方面,推荐或者推送大有取代搜索之势。国际化视频APP主要面向阿、泰、葡等语种国家,提供精选视频及个性化推荐视频服务。

  • 引入网页搜索抓取、离线及在线全套架构,建立国际化视频搜索服务。
  • 改进离线架构,提升视频准确率和召回率。
  • 优化搜索服务相关性,大幅提升与竞品对比的分位值。
  • 开发网页搜索到视频搜索的全新阿拉丁架构,引入更丰富的阿拉丁机制。

Experiences - 盘古搜索(2013.1 - 2014.2)

通用搜索引擎

网页搜索及众多垂类搜索服务,在架构上具有极大的相似性,其差异点在于数据、算法、策略。为整合现有各分类搜索服务及后续更多垂类业务的快速支撑,需要设计、开发一套通用的搜索引擎架构,在此基础上各垂类业务方只需自定策略即可。

网页搜索服务

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nam porttitor dapibus ipsum ut efficitur.

Education

2009.9 - 2013.1,清华大学,机器学习方向,硕士学位。

2005.9 - 2009.7,四川大学,计算机科学与技术专业,学士学位。