04
資料工程師是數據高速公路的「建設與維護者」：讓原始資料準時、正確地抵達需要它的人手上。
你每天真正會在解決什麼問題？
工作的核心不是只看職稱，而是理解這個角色如何把模糊問題轉成可以被處理的工作。
INGEST
接入資料來源
串接公司內外部的 API、資料庫與事件資料。
TRANSFORM
整理資料形狀
規劃 ETL / ELT 流程，讓資料可被分析與重複使用。
MODEL
設計資料倉儲
建立資料倉儲與資料湖的綱要結構。
OPERATE
維護流程穩定
監控排程任務，對故障資料管道進行排錯與修復。
先把這幾件事練到能用。
SQL
熟練查詢、資料建模與大型資料表的效能取捨。
必備Python / Scala
建立可維護的資料處理與排程程式。
核心Spark / Airflow
處理分散式運算與資料工作流排程。
核心Cloud / Kafka
了解雲端資料服務與即時串流的基本架構。
加分一天的節奏，比職稱更誠實。
一個普通的工作日DAILY RHYTHM
修復管道
處理因源頭 API 格式改動而中斷的工作流。
優化運算
使用 PySpark 重寫低效的大型 Join 語法。
討論串流
和後端工程師討論如何將點擊流即時寫入 Kafka。
這條路不只通往一個終點。
先建立這個角色的基本功，再依照你更喜歡的問題，往管理、產品或更深的數據技術前進。
資料工程師建立資料管道基本功
資深資料工程師主導平台與資料品質
Big Data Architect設計企業級資料架構
看懂角色之後，面試會考什麼？
不同角色的面試形式差異很大，提早知道每一關在測試什麼，準備才有方向。
SCREEN
履歷 / 電話篩選
確認資料管道與倉儲的實務經驗，以及處理過的資料規模。
TEST
SQL / Python 資料處理測驗
常考大型資料表的效能優化、ETL 邏輯與邊界情況處理。
SYSTEM DESIGN
資料架構設計
討論資料管道的分區、排程與容錯設計，以及故障時如何補資料。
FINAL
團隊與 on-call 期待面談
確認值班機制、跨團隊協作與資料品質責任歸屬。
作品集怎麼準備
準備一個端到端的資料管道專案，說明你怎麼處理來源格式變動、資料品質檢查與排程失敗的重試機制。
常見的落選原因
- 只會寫 ETL 邏輯，答不出資料量變大十倍時架構要怎麼調整
- 沒有準備資料品質監控相關經驗，容易被問倒
- 忽略成本與維運面向，只講技術實作
資料工程師讓資料流變成基礎設施，而不是每次都要重新整理的手工活。
