【フルリモート／週5／Python】ペタバイト級のビッグデータを統合するモダンデータスタック（データ基盤）のデータエンジニア

【フルリモート／週5／Python】ペタバイト級のビッグデータを統合するモダンデータスタック（データ基盤）のデータエンジニア ### お任せしたいこと ［役割］データエンジニアとして、社内外のあらゆるシステムから生成される数千億レコードのログデータやトランザクションデータを収集・統合し、分析チームや機械学習モデルがいつでも活用できる状態にするための、スケーラブルなデータパイプラインおよびデータウェアハウス（DWH）の構築・運用をお任せします。 ［役割に対して求める成果］データ品質（正確性・網羅性・鮮度）を厳格に担保しながら、ペタバイト級のデータ処理を低コストかつ高速に実行できるアーキテクチャの設計、およびビジネスの成長に合わせて柔軟に拡張可能な「止まらないデータ基盤」の実現。 ### 具体的な業務内容 ・PythonおよびApache Airflow等のオーケストレーションツールを用いた、スケーラブルで冪等性（Idempotency）のあるETL/ELTデータパイプラインの詳細設計・実装 ・GCP（BigQuery）またはSnowflake環境におけるデータウェアハウスのアーキテクチャ設計、テーブル設計、および高度なSQLクエリチューニング ・Pub/SubやApache Kafka等を利用した、リアルタイムストリーミングデータ処理基盤の設計・開発 ・dbtを活用したデータモデリングの推進と、データリネージの可視化・データ品質テストの自動化 ・Terraformを用いたデータ基盤インフラのコード化（IaC）と、GitHub Actionsを利用したCI/CDパイプラインの構築・運用による開発プロセスの効率化 ### 必須スキル・経験 ・Pythonを用いたソフトウェア開発経験（3年以上） ・大規模データに対するETL/ELTパイプラインのアーキテクチャ設計および実装経験 ・クラウド環境（GCP, AWS, Snowflake等）におけるデータウェアハウスまたはデータレイクの構築・運用経験 ・高度なSQLを用いたデータ抽出および実行計画を意識したクエリチューニングの実務経験 ・Git/GitHubを用いたチーム開発およびPull Requestベースのコードレビュー経験 ### 歓迎スキル・経験 ・Apache Airflow, Prefect, Dagster等のデータオーケストレーションツールの運用経験 ・dbtを用いたデータ変換・データモデリングの実務経験 ・Apache Spark（PySpark）等の分散処理フレームワークを用いた大規模データ処理経験 ・データガバナンス（データカタログの導入、厳密なアクセス権限管理など）に関する深い知見 ・ソフトウェアエンジニアとしてのWebバックエンドAPI開発経験 ### 開発環境 言語・フレームワーク：Python 3.1x, SQL, dbt インフラ・データ基盤：GCP (BigQuery, Cloud Storage, Pub/Sub, Cloud Run), Snowflake ツール・ミドルウェア：Apache Airflow, Terraform, GitHub, GitHub Actions, Jira, Slack, Notion ### 開発チームについて プロダクトマネージャー1名、データアーキテクト1名、データエンジニア5名（今回募集枠含む）、アナリティクスエンジニア3名、データサイエンティスト4名の体制です。「データは会社の血液である」という強い認識のもと、単にデータを運ぶだけでなく、そのデータがビジネスの意思決定やAIモデルにどう使われるかを意識し、データ品質の向上とパイプラインの堅牢性を極めるエンジニアリング文化が根付いています。 ### 求める人物像 ・「データが欠損している」「処理が遅延している」といった異常に対して強い危機感と当事者意識を持ち、根本原因の解決に執念を持てる方 ・モダンデータスタック（MDS）の最新トレンドを継続的にキャッチアップし、既存のレガシーな処理をより効率的なアーキテクチャへとリプレイスを提案・実行できる方 ・フルリモート環境下において、データサイエンティストやビジネスサイド（マーケティング等）とも自発的かつ円滑にテキストや通話でコミュニケーションが取れる方 ### 仕事の魅力 国内トップクラスのトラフィックから生み出されるペタバイト級のビッグデータを自在に操り、事業成長の基盤を自らの手で創り上げる、非常にスケールと社会的インパクトの大きなポジションです。Pythonの高度なプログラミングスキルに加え、Airflowやdbtといったモダンなデータスタックの最前線で複雑なデータアーキテクチャ設計に挑むことで、データエンジニアとして圧倒的な専門性と市場価値を獲得することができます。 ### 働き方 #### リモート環境 **[フルリモート]** フルリモートで働いていただけます。

1回