誤打誤撞進了雲領域
莫名其妙接了k8s
之前身為DBA的我
對Cloud 這領域的"人"的"行事做風"還真是陌生阿
但跟google 原廠架構師也合作過
人家也沒那麼大的傲氣
我喜歡後端及雲地整合
也想寫寫Golang及玩玩資料科學
6/30專案告一段落後,離開現職
人生總是出人意料
資訊業這領域哪有準備好這件事
都是邊做邊學
做中學習其中的專業skill
台灣 桃園 https://www.credential.net/profile/kuoshengchang962765/wallet
二月 2021 - Present
1.建置專案:
1.1 2021 政府某醫療主管機關舊系統翻新
a.在前廠商不願繼續維運所造成的資料規格不完全及前DBA因舊系統schema轉檔至新系統覺得有困難離職的情況下,我被找了進來完成新舊資料庫間轉檔的工作
b.以資料庫的加解密函式dbms_crypto寫成store function讓C#程式來呼叫
1.2 GCP帳務系統建置
因開發人員不願學習跟bigquery存取有關的技術只好由我撰寫Golang程式,透過concurrent goroutine的技巧來移轉帳務資料到Cloud SQL Postgres
1.3 Anthos 建置案
a.協助找出anthos on baremetal 於redhat 8.7所需要的所有的離線安裝的rpm
b.2023 10月金控anthos on baremtal 測試環境user cluster的建置
c.整理我的測試結果與建置客戶營運系統時的所見所聞,分享於內部技術分享會
d.2024 4月份建置營運環境user cluster
1.4 2024 GCP 雲地合一專案(金融支付及持續營運兩專案)
1.4.1 GKE + Internal Ingress+ Egress gateway的建置
1.4.2 跨專案搬遷VM+PD(image clone)及Cloud Storage(data transfer)
1.4.3 建立HSM 及透過snapshot 轉置所有的rest data 使用CMEK
1.4.5 協助客戶部署GKE workload
1.4.6 GKE 監控整合Prometheus& Grafana
1.4.7 地端Anthos 及 Openshift yaml 轉上GKE
1.4.8 協助及配合Mongodb Atlas 原廠的建置
2.維運專案:
2.1 2022 政府某醫療主管機關新系統上線後維運
a.透過Oracle online move來解決表格清檔後,釋放出400GB的空間的問題,因為log寫太多了
b.協助解決在客戶處AP同仁反應給我的問題,因為他們一直認為root cause是資料庫端
Oracle.ManagedDataAccess.Client.OracleException (0x80004005): Connection request timed out
我給了他們這篇文章
https://community.oracle.com/tech/developers/discussion/4343363/oracle-manageddataaccess-client-oracleexception-0x80004005-connection-request-timed-out, 目前為止,沒再發生
c.用golang + go-ora/v2 來存取Oracle資料庫,調出300多萬筆資料來滿足另一家廠商的需求,因為opensource ETL工具及sql developer匯不出來,會當掉
d.四分鐘內用Oracle in 及 parallel 比對600多萬, 200多萬,800多萬筆三群資料來產出200多萬筆資料需求
e.處理AP 因 Oracle WAITEVENT: "gc current/cr multi block request"所造成的lock session堆積,root casuse是Interconnect傳輸掉封包,我也只把相關的原廠技文件給客戶,後續就交由客戶自己跟Oracle原廠討論解決exadata的問題
f.協助調校SQL
2.2 2023 政府某醫療主管機關系統維運
a.執行三年前資料封存作業(清理舊資料)
b.解決因資料庫的設計錯誤導致web查詢效能不好,只好以MATCH_RECOGNIZE 進行bin packing 資料分群後,透過DBMS_PARALLEL_EXECUTE mutli job 機制來分批搬移因設計錯誤所造成的大量資料,以達到客戶所要求的服務等級,查詢天數由3天增為近30天
c.回復"廉政單位"來函要求調閱的系統操作歷史記錄
d.參與2024 資料封存專案
2.2 某銀行GCP 技術支援窗口
a.為拿這個客戶,我整理了13個專案 * 16張excel表的資料
b.協助處理稽核要求資料在Cloud Logging內查詢的相關技術諮詢等
c.月報產出及到客戶處進行月報
3.DB Consulting業務
3.1 執行2021 2022 2023 2024合約內所規範的remote dba的業務及產出月報(由2021年的10個資料庫增長至2023 17個資料庫;2024年17個資料庫)
3.2 2023年執行政府單位客戶Oracle 11g 資料庫的正式與備援間的切換演練,並且我指出了架構上會造成切換的問題,也確實在現場發生了double head的問題,依照我自己的方式來解決切回原營運資料庫
4.自我成長
4.1 程式撰寫(udemy)
a.Go: The Complete Developer's Guide (Golang)
b.The Nuts and Bolts of OAuth 2.0
c.REST API Design, Development & Management
d.Python 3零基础完全入门与提高
e.Apache Beam | A Hands-On course to build Big data Pipelines
4.2 GCP 證照取得
a.Cloud Achitect
b.Data Engineer
4.3 實體課程
a. 恆逸VMware vSphere安裝及設定管理課程-ICM
5.其他:
5.1因應google窗口所提的需求,用手上現有的Credit來研究及測試透過GCP Datastream移轉Oracle XE 11g資料至BigQuery
5.2協助GCP Team解決兩個客戶所碰到的Cloud SQL MySQL的問題(Replication及上雲)
5.3為配合業務打案子,應需求給了一份sql server健檢報表範本
5.4協助解決一個客戶GCP Stream POC測試案例的,流程如下
a.把public dataset的一個表資料(nested),轉成json檔
b.我寫了一隻python程式,逐筆把資料送上pub/sub
c.啟動dataflow template來讀取pub/sub的資料,寫進bigquery表
d.實施步驟寫成文件給相關同仁
5.5 .擔任2024 上半年GCP 內部講師之一
a. Introduction for Compute Engine
b.Introduction for GKE
六月 2017 - 二月 2021
1.以nagios core 發警訊來取代我每天所進行的dba routine check的工作
2.支援集團內在專案建置上地端或AWS RDS MSSQL 及Postgres,以及Oracle RAC 的技術需求
Oracle, MSSQL and Postgres database routine management and improve
administrative effiency with Nagios core and my plugins.
Oracle RAC 12.2 on HPUX and RedHat Implementation.
Oracle 18c upgrade and data migration from 10gR2 with Golden Gatebetween Data Center.
SQL Server DB migration between Data Center using LogShipping and config txn replication.
Oracle RAC 12.2 on HPUX data migration between Data Center using
storage sync .
五月 2011 - 五月 2017
客戶駐點DBA
DBA Contractor in user site , such as President Information Company
and Acer Corporation.
Oracle RAC 11.2 Consulting service for Taipei City Hospital.
八月 2010 - 四月 2011
1.Oracle Consulting Service.
2.RAC 10gR2 on RedHat implementation for TBC cable TV Corporation.
十月 2007 - 七月 2010
1.Oracle 8i and 9i managment and standby db implementation.
2.MySQL management and binlog replication setup.
3.DB2 management.
4.Postgres management.
九月 2004 - 二月 2007
完成高工局ETC 卡片加值系統
Oracle 9i Data Guard Setup.
Oracle Pro*C , PL/SQL Programming
二月 2000 - 七月 2003
1.客戶所採購的硬體及作業系統安裝設定
2.客戶技術諮詢
2021 - 2023
2008 - 2009
1991 - 1995
誤打誤撞進了雲領域
莫名其妙接了k8s
之前身為DBA的我
對Cloud 這領域的"人"的"行事做風"還真是陌生阿
但跟google 原廠架構師也合作過
人家也沒那麼大的傲氣
我喜歡後端及雲地整合
也想寫寫Golang及玩玩資料科學
6/30專案告一段落後,離開現職
人生總是出人意料
資訊業這領域哪有準備好這件事
都是邊做邊學
做中學習其中的專業skill
台灣 桃園 https://www.credential.net/profile/kuoshengchang962765/wallet
二月 2021 - Present
1.建置專案:
1.1 2021 政府某醫療主管機關舊系統翻新
a.在前廠商不願繼續維運所造成的資料規格不完全及前DBA因舊系統schema轉檔至新系統覺得有困難離職的情況下,我被找了進來完成新舊資料庫間轉檔的工作
b.以資料庫的加解密函式dbms_crypto寫成store function讓C#程式來呼叫
1.2 GCP帳務系統建置
因開發人員不願學習跟bigquery存取有關的技術只好由我撰寫Golang程式,透過concurrent goroutine的技巧來移轉帳務資料到Cloud SQL Postgres
1.3 Anthos 建置案
a.協助找出anthos on baremetal 於redhat 8.7所需要的所有的離線安裝的rpm
b.2023 10月金控anthos on baremtal 測試環境user cluster的建置
c.整理我的測試結果與建置客戶營運系統時的所見所聞,分享於內部技術分享會
d.2024 4月份建置營運環境user cluster
1.4 2024 GCP 雲地合一專案(金融支付及持續營運兩專案)
1.4.1 GKE + Internal Ingress+ Egress gateway的建置
1.4.2 跨專案搬遷VM+PD(image clone)及Cloud Storage(data transfer)
1.4.3 建立HSM 及透過snapshot 轉置所有的rest data 使用CMEK
1.4.5 協助客戶部署GKE workload
1.4.6 GKE 監控整合Prometheus& Grafana
1.4.7 地端Anthos 及 Openshift yaml 轉上GKE
1.4.8 協助及配合Mongodb Atlas 原廠的建置
2.維運專案:
2.1 2022 政府某醫療主管機關新系統上線後維運
a.透過Oracle online move來解決表格清檔後,釋放出400GB的空間的問題,因為log寫太多了
b.協助解決在客戶處AP同仁反應給我的問題,因為他們一直認為root cause是資料庫端
Oracle.ManagedDataAccess.Client.OracleException (0x80004005): Connection request timed out
我給了他們這篇文章
https://community.oracle.com/tech/developers/discussion/4343363/oracle-manageddataaccess-client-oracleexception-0x80004005-connection-request-timed-out, 目前為止,沒再發生
c.用golang + go-ora/v2 來存取Oracle資料庫,調出300多萬筆資料來滿足另一家廠商的需求,因為opensource ETL工具及sql developer匯不出來,會當掉
d.四分鐘內用Oracle in 及 parallel 比對600多萬, 200多萬,800多萬筆三群資料來產出200多萬筆資料需求
e.處理AP 因 Oracle WAITEVENT: "gc current/cr multi block request"所造成的lock session堆積,root casuse是Interconnect傳輸掉封包,我也只把相關的原廠技文件給客戶,後續就交由客戶自己跟Oracle原廠討論解決exadata的問題
f.協助調校SQL
2.2 2023 政府某醫療主管機關系統維運
a.執行三年前資料封存作業(清理舊資料)
b.解決因資料庫的設計錯誤導致web查詢效能不好,只好以MATCH_RECOGNIZE 進行bin packing 資料分群後,透過DBMS_PARALLEL_EXECUTE mutli job 機制來分批搬移因設計錯誤所造成的大量資料,以達到客戶所要求的服務等級,查詢天數由3天增為近30天
c.回復"廉政單位"來函要求調閱的系統操作歷史記錄
d.參與2024 資料封存專案
2.2 某銀行GCP 技術支援窗口
a.為拿這個客戶,我整理了13個專案 * 16張excel表的資料
b.協助處理稽核要求資料在Cloud Logging內查詢的相關技術諮詢等
c.月報產出及到客戶處進行月報
3.DB Consulting業務
3.1 執行2021 2022 2023 2024合約內所規範的remote dba的業務及產出月報(由2021年的10個資料庫增長至2023 17個資料庫;2024年17個資料庫)
3.2 2023年執行政府單位客戶Oracle 11g 資料庫的正式與備援間的切換演練,並且我指出了架構上會造成切換的問題,也確實在現場發生了double head的問題,依照我自己的方式來解決切回原營運資料庫
4.自我成長
4.1 程式撰寫(udemy)
a.Go: The Complete Developer's Guide (Golang)
b.The Nuts and Bolts of OAuth 2.0
c.REST API Design, Development & Management
d.Python 3零基础完全入门与提高
e.Apache Beam | A Hands-On course to build Big data Pipelines
4.2 GCP 證照取得
a.Cloud Achitect
b.Data Engineer
4.3 實體課程
a. 恆逸VMware vSphere安裝及設定管理課程-ICM
5.其他:
5.1因應google窗口所提的需求,用手上現有的Credit來研究及測試透過GCP Datastream移轉Oracle XE 11g資料至BigQuery
5.2協助GCP Team解決兩個客戶所碰到的Cloud SQL MySQL的問題(Replication及上雲)
5.3為配合業務打案子,應需求給了一份sql server健檢報表範本
5.4協助解決一個客戶GCP Stream POC測試案例的,流程如下
a.把public dataset的一個表資料(nested),轉成json檔
b.我寫了一隻python程式,逐筆把資料送上pub/sub
c.啟動dataflow template來讀取pub/sub的資料,寫進bigquery表
d.實施步驟寫成文件給相關同仁
5.5 .擔任2024 上半年GCP 內部講師之一
a. Introduction for Compute Engine
b.Introduction for GKE
六月 2017 - 二月 2021
1.以nagios core 發警訊來取代我每天所進行的dba routine check的工作
2.支援集團內在專案建置上地端或AWS RDS MSSQL 及Postgres,以及Oracle RAC 的技術需求
Oracle, MSSQL and Postgres database routine management and improve
administrative effiency with Nagios core and my plugins.
Oracle RAC 12.2 on HPUX and RedHat Implementation.
Oracle 18c upgrade and data migration from 10gR2 with Golden Gatebetween Data Center.
SQL Server DB migration between Data Center using LogShipping and config txn replication.
Oracle RAC 12.2 on HPUX data migration between Data Center using
storage sync .
五月 2011 - 五月 2017
客戶駐點DBA
DBA Contractor in user site , such as President Information Company
and Acer Corporation.
Oracle RAC 11.2 Consulting service for Taipei City Hospital.
八月 2010 - 四月 2011
1.Oracle Consulting Service.
2.RAC 10gR2 on RedHat implementation for TBC cable TV Corporation.
十月 2007 - 七月 2010
1.Oracle 8i and 9i managment and standby db implementation.
2.MySQL management and binlog replication setup.
3.DB2 management.
4.Postgres management.
九月 2004 - 二月 2007
完成高工局ETC 卡片加值系統
Oracle 9i Data Guard Setup.
Oracle Pro*C , PL/SQL Programming
二月 2000 - 七月 2003
1.客戶所採購的硬體及作業系統安裝設定
2.客戶技術諮詢
2021 - 2023
2008 - 2009
1991 - 1995