概要:
・SaaS等の外部データソースからデータを抽出し、分析基盤(GCSおよびBigQuery)へ
連携するデータパイプラインの「新規構築」「追加実装」「運用保守」
具体的な業務内容:
・新規パイプラインの設計・実装
・Pythonによるデータ抽出処理の実装
・各種SaaS(CRM、MA、広告媒体)のAPIを叩き、データを取得・加工してGCSへ
保存するスクリプトの作成。
・コンテナ化
・PythonコードのDockerイメージ化およびCloud Run Jobsへのデプロイ設定。
・ワークフロー定義
・Cloud Workflows(YAML/JSON)を用いて、Cloud Run Jobsの実行順序制御、並列実行、
エラーハンドリング、BigQueryへのロード処理(bq load 等)をオーケストレーション実装。
・運用・保守・改善
・エラー対応
・ワークフロー失敗時のログ調査(Cloud Logging)、リトライ処理の改善、API仕様変更への追随。
・データモデリン
dbt/SQLによるデータ加工処理
・パフォーマンス・コスト最適化
・Cloud Runの並列数調整やメモリチューニング、Workflowsのステップ最適化によるコスト削減。
・IaC管理
・Terraform等を用いたインフラ構成のコード管理。
必須:
【必須スキルの経験有無をご提示ください】
・Pythonによるバックエンド開発経験 (3年以上目安)
┗Requests等を用いたREST API連携の実装経験
┗Pandas等を用いたデータ加工処理の経験
・Google Cloud (GCP) またはAWSの利用経験
┗Cloud Run、BigQuery、GCS の基礎知識
┗IAM権限周りの基本的な理解
┗Cloud Workflows の実装経験
・コンテナ技術 (Docker) の利用経験
・SQL (BigQuery 標準SQL) の読み書き
・Terraform によるIaC経験
尚可:
・CI/CDパイプラインの構築経験
・dbt (data build tool) の利用経験
Will:
・冪等性(べきとうせい)を意識した設計ができる
・サーバレス/マネージドサービスへの関心
・「汚いデータ」への耐性と執着心
場所:大崎駅 ※リモート併用(週2～3日出社)
期間:3月～ ※4月～検討可
単価:75～95万
精算:140～180h(上下割)
時間:10:00～19:00(実稼働8H)
日数:週5日
面談:Web2回
募集:1名
貸与:Windows or macノートPC貸与
※参画決定から入場までPCおよび受入れ準備期間として、最短で2週間程度掛かります。