【AWS/Python/SQL/PySpark/一部リモート】データレイク/CDP基盤の技術検証(Redshift/EMR比較)

掲載終了3ヶ月前

【AWS/Python/SQL/PySpark/一部リモート】データレイク/CDP基盤の技術検証(Redshift/EMR比較)

750,000〜850,000/月

作業内容

他システムから受領したデータに対し、クレンジング・マスキング・名寄せ処理を施し、データレイクとして蓄積するCDP基盤の技術検証を担当いただきます。 主にAWSサービスの選定および構成の検討を目的とした調査・PoCを実施し、結果をとりまとめて資料化します。 具体的な作業: ・S3上のデータを前提とした処理方式の検討(クレンジング/名寄せ/マスキング) ・データレイク用S3の格納方式・ディレクトリ設計・権限/ライフサイクル方針の検討 ・Redshift Serverless と EMR Serverless の比較検証(性能/コスト/運用の観点) ・技術検証結果の整理、ドキュメント化および提案資料作成 稼働形態は基本リモートで、初日のみ出社想定です。稼働期間は2026年5月〜7月のうち合計1人月を見込みます。 募集背景 CDP基盤の本格構築に先立ち、最適なAWSサービス選定と構成方針を明確化するための技術検証リソースを短期で増強。

必須スキル

・AWSの実務経験(S3を中心としたデータ基盤周辺の利用経験) ・Pythonによるデータ処理の実務経験 ・SQLの実務経験(パフォーマンス観点でのチューニング知識があると尚良) ・PySparkを用いたデータ処理の経験 ・技術検証/PoCの計画〜実施〜結果整理まで一連を遂行できる方

歓迎スキル

・Redshift(特にServerless)またはEMR(Serverless含む)の評価/運用経験 ・S3ベースのデータレイク設計(データレイアウト、パーティション、テーブル形式の選定など)の知見 ・セキュリティ/ガバナンス(マスキング、IAM、Lake Formation 等)への理解 ・コスト最適化やパフォーマンス検証の経験 ・CDP/分析基盤の要件定義・アーキテクチャ検討の経験

稼働条件

基本は平日フルタイムを想定(合計1人月/期間内で調整可) / 目安160時間/月(精算幅140〜180H) / 一部リモート可

契約形態

業務委託(フリーランス)

開発環境

開発/検証環境: ・クラウド: AWS(S3, Redshift Serverless, EMR Serverless, IAM, Glue/Lake Formation など想定) ・言語/フレームワーク: Python, PySpark, SQL ・データ形式: Parquet/ORC/CSV など ・ドキュメンテーション: Confluence/Notion等(類似ツール) ・バージョン管理: Git系ツール

作業時間

10:00〜19:00目安(初日のみ出社)

精算基準時間

140h〜180h

募集回数

1回

スキル

バックエンド:
インフラ:
その他:

企業名

サービス/プロジェクト名

詳細スケジュール/リリース時期

現場責任者の雰囲気

開発体制の詳細

詳細は面談でお伝えします。ご相談ください。

一部の情報は非公開の場合があります

案件について詳しく聞いてみませんか?

知りたい内容を選んでください(複数選択可)