【AWS/Python/SQL/PySpark/一部リモート可】データレイク基盤構築向け技術検証ポジション
作業内容
CDP基盤の立ち上げに向け、AWS上での技術調査・PoCを担当いただきます。 - S3上のデータを前提としたクレンジング、名寄せ、マスキング方式の検討 - データレイク用S3への最適なデータ配置・パーティション設計やフォーマット（例：Parquet、Iceberg等）の検討 - Redshift Serverless と EMR Serverless の比較検証（性能、コスト、運用性の観点） - 技術検証結果の整理、ドキュメント化および提案資料の作成 期間は短期で、集中的に検証とナレッジの集約を行います。 募集背景 CDP基盤立ち上げに先立ち、最適なAWSサービス構成とデータ処理方式を短期間で見極めるための技術検証要員の増強です。
必須スキル
以下のご経験が必須です。 - AWSの実務経験（特にS3を用いたデータ取り扱い） - Pythonでのデータ処理実務経験 - SQLによる集計・分析・最適化の経験 - PySparkを用いた分散データ処理の経験
歓迎スキル
歓迎スキル： - Redshift（特にServerless）の設計・パフォーマンスチューニング経験 - EMR（Serverless含む）でのSparkジョブ設計・運用経験 - データレイク設計（レイヤリング、パーティション、テーブル形式）に関する知見 - データマスキング、個人情報保護に関する実務経験 - 技術検証やPoC結果のドキュメント化、提案資料作成の経験
稼働条件
短期集中のため基本は週5日稼働を想定（調整可） / 目安160時間前後／月（精算幅140-180H） / 一部リモート可
契約形態
業務委託(フリーランス)
開発環境
開発・検証環境： - クラウド：AWS（S3, Redshift Serverless, EMR Serverless） - 言語・フレームワーク：Python, PySpark, SQL - データフォーマット：Parquet など - 管理・その他：Git系リポジトリ、チケット管理ツール、オンライン会議ツール（いずれも一般的なSaaS） Python、SQL、LESS、Spark、Git、Redshift
作業時間
10:00〜19:00目安（フレックス・時差出社応相談）
精算基準時間
140h〜180h
募集回数
1回
スキル
企業名
サービス/プロジェクト名
詳細スケジュール/リリース時期
現場責任者の雰囲気
開発体制の詳細
詳細は面談でお伝えします。ご相談ください。
一部の情報は非公開の場合があります
案件について詳しく聞いてみませんか？
知りたい内容を選んでください（複数選択可）