【フルリモート／週5／Python】ペタバイト級のデータ基盤を構築し事業成長を牽引する次世代データエンジニア

【フルリモート／週5／Python】ペタバイト級のデータ基盤を構築し事業成長を牽引する次世代データエンジニア ### お任せしたいこと ［役割］データエンジニアとして、グローバルで展開する複数プロダクトから日々生成される数十億件（ペタバイト級）のトラッキングデータやトランザクションデータを統合・処理し、データサイエンティストや経営陣がリアルタイムに価値を引き出せる次世代データ分析基盤（モダンデータスタック）の設計・開発をお任せします。 ［役割に対して求める成果］「データの欠損や遅延が誤った経営判断やAIの精度低下を招く」という強い危機感を持ち、Pythonを用いた堅牢でスケーラブルなETL/ELTデータパイプラインを構築すること。そして、データの品質（Data Quality）とガバナンスを担保し、組織全体のデータ活用におけるアジリティを劇的に向上させること。 ### 具体的な業務内容 ・Python（Python 3.11以降）を用いた、各種外部APIや社内マイクロサービス群からデータを安定的かつ高速に収集するためのデータ抽出・連携バッチの開発 ・Apache AirflowやPrefect等のワークフローエンジンを利用した、数百の依存関係を持つ複雑なデータパイプライン（DAG）の設計、実装、および障害時の自動リトライ・アラート機構の構築 ・Apache KafkaやGCP Pub/Subを用いたストリーミングデータのリアルタイム処理、およびPySpark等を用いた分散データ処理基盤の構築とチューニング ・BigQueryやSnowflakeといったクラウドネイティブなデータウェアハウス（DWH）に対する、dbt（data build tool）を活用したモデリングおよび高度なSQLチューニング ・Terraformを用いたデータインフラのIaC（Infrastructure as Code）化と、GitHub Actionsを利用したデータパイプラインのCI/CD（継続的インテグレーション／デリバリー）運用 ・DatahubやAmundsen等のデータカタログの導入・運用を通じた、メタデータ管理とデータディスカバリ（データの見つけやすさ）の向上 ### 必須スキル・経験 ・Pythonを用いたサーバーサイド開発、または高度なデータ処理スクリプトの開発・運用経験（3年以上） ・複雑なSQLの記述スキル、およびRDBMSまたはDWHを用いた大規模データ処理の経験（2年以上） ・Apache Airflowなどのワークフローエンジンを用いたデータパイプラインの設計・開発・運用経験 ・Git/GitHubを用いたチーム開発およびPull Requestベースのコードレビュー経験 ### 歓迎スキル・経験 ・テラバイト〜ペタバイト級の大規模データ基盤（BigQuery, Snowflake, Redshift等）の構築・運用経験 ・dbt（data build tool）を用いたデータモデリングおよびELT開発の実務経験 ・Apache Kafka、Apache Spark等を用いたリアルタイム・ストリームデータ処理の経験 ・AWSまたはGCP環境におけるインフラ構築・運用経験、およびコンテナ技術（Docker/Kubernetes）の知見 ・データガバナンス、データ品質管理（Data Observability）、またはデータメッシュ（Data Mesh）アーキテクチャに関する深い理解 ・機械学習（MLOps）基盤の構築や、データサイエンティストと協業したAIモデルの実環境デプロイ経験 ### 開発環境 言語・フレームワーク：Python 3.11+, PySpark, SQL データインフラ：Google Cloud (BigQuery, Cloud Storage, Dataflow, Pub/Sub) または AWS (Redshift, S3, EMR) オーケストレーション・ELT：Apache Airflow, dbt CI/CD・ツール：Docker, Kubernetes, GitHub, GitHub Actions, Terraform, Datadog, Slack ### 開発チームについて プロダクトマネージャー1名、テックリード1名、データエンジニア5名（今回募集枠含む）、データサイエンティスト・機械学習エンジニア4名、バックエンドエンジニア多数の体制です。「ゴミを入れたらゴミが出てくる（Garbage In, Garbage Out）」というデータ領域の鉄則を深く理解し、泥臭いデータクレンジングやエラーハンドリングを怠らず、美しいデータアーキテクチャの構築に強いこだわりを持つプロフェッショナルなカルチャーです。 ### 求める人物像 ・「ただデータが抽出できればいい」という考えを捨て、パイプラインの冪等性（Idempotency）や実行速度、再利用性を徹底的に追求するエンジニアリング思考を持てる方 ・データアナリストや経営陣からの「このデータが欲しい」という曖昧な要望に対し、背後にある真のビジネス課題を汲み取り、適切なデータマートの設計に落とし込める方 ・フルリモート環境下において、他職種（特にデータサイエンティストやバックエンドエンジニア）とも自発的かつ円滑にテキストや通話でコミュニケーションが取れる方 ### 仕事の魅力 企業の競争力の源泉である「データ」の心臓部を司り、AI・機械学習の実用化やデータドリブンな経営意思決定を土台から支える非常に社会的インパクトの大きなポジションです。ペタバイト級のデータトラフィックや最新のモダンデータスタック（dbt, Airflow, Snowflake/BigQuery等）を用いた高度なパイプライン設計に挑むことで、Pythonエンジニア／データエンジニアとして国内トップクラスの専門性と圧倒的な市場価値を獲得することができます。 ### 働き方 #### リモート環境 **[フルリモート]** フルリモートで働いていただけます。

1回