謝惟寧

backend engineer

pytohn, nodejs , blockchain | chainsecurity

Taipei City, Taiwan
0905335505
[email protected]
https://www.threads.net/@william1006__https://github.com/williiam

工作經歷

三月 2023 - Present
Taipei, Taiwan

後端工程師

區塊科技 BlockChain Security

14條區塊鏈上的API資料爬蟲
- 實時追踪註冊錢包上的區塊鏈交易系統。
- 技術選擇
  - 利用Python的Celery框架搭配RabbitMQ和Redis，MongoDB，並利用API和HTML爬蟲進行資料收集。
  - 利用代理池服務避免被API提供者封鎖。
  - 利用apikey輪轉和管理服務來降低成本並繞過API提供者的速率限制。
  - 透過pytest和GitLab CI實現自動化測試和部署。
  - 使用Prometheus進行全面的監控和日誌記錄。
- 成就：
  - 支援14個區塊鏈網絡，包括Arbitrum、Avalanche、Bitcoin、BNB、Celo、Ethereum、Ethereum Classic、Fantom、Polygon、Palm、Optimism、Solana和Tron。
  - 實現了每條鏈上最多300個錢包的交易實時更新，處理時間在一分鐘內。
三大主要區塊鏈上所有交易的內部數據庫
- 減少我們對外部API的依賴，通過開發主要區塊鏈上交易的專有數據庫。
- 技術選擇：
  - 建立了Bitcoin、Ethereum和Tron的節點，利用Celery進行高效的數據同步到Elasticsearch
- 成就
  - 實現了包括智能合約和內部交易在內的三個主要區塊鏈上的交易查詢，達到平均響應時間在3秒以下的get_transaction API。
  - 每條鏈最大可供破300個錢包註冊，在一分鐘內即時更新出入金金流
  - 針對各家api廠商的rate limit跟key限制部分，做輪轉跟冷卻機制，確保資料來源為免費且穩定
區塊鏈地址交易追蹤系統
- 通過整合版本控制和容器化，開發了一個簡化的多開發者工作流。實施了Docker與gitlab-ci。
- 將我們的專有內部數據庫作為主要數據源整合，增強了我們的後端服務，並進一步減少了外部API的依賴和成本。