【AWS/Python/SQL/PySpark/一部リモート】データレイク/CDP基盤の技術検証(Redshift/EMR比較)
作業内容
他システムから受領したデータに対し、クレンジング・マスキング・名寄せ処理を施し、データレイクとして蓄積するCDP基盤の技術検証を担当いただきます。 主にAWSサービスの選定および構成の検討を目的とした調査・PoCを実施し、結果をとりまとめて資料化します。 具体的な作業: ・S3上のデータを前提とした処理方式の検討(クレンジング/名寄せ/マスキング) ・データレイク用S3の格納方式・ディレクトリ設計・権限/ライフサイクル方針の検討 ・Redshift Serverless と EMR Serverless の比較検証(性能/コスト/運用の観点) ・技術検証結果の整理、ドキュメント化および提案資料作成 稼働形態は基本リモートで、初日のみ出社想定です。稼働期間は2026年5月〜7月のうち合計1人月を見込みます。 募集背景 CDP基盤の本格構築に先立ち、最適なAWSサービス選定と構成方針を明確化するための技術検証リソースを短期で増強。
必須スキル
・AWSの実務経験(S3を中心としたデータ基盤周辺の利用経験) ・Pythonによるデータ処理の実務経験 ・SQLの実務経験(パフォーマンス観点でのチューニング知識があると尚良) ・PySparkを用いたデータ処理の経験 ・技術検証/PoCの計画〜実施〜結果整理まで一連を遂行できる方
歓迎スキル
・Redshift(特にServerless)またはEMR(Serverless含む)の評価/運用経験 ・S3ベースのデータレイク設計(データレイアウト、パーティション、テーブル形式の選定など)の知見 ・セキュリティ/ガバナンス(マスキング、IAM、Lake Formation 等)への理解 ・コスト最適化やパフォーマンス検証の経験 ・CDP/分析基盤の要件定義・アーキテクチャ検討の経験
稼働条件
基本は平日フルタイムを想定(合計1人月/期間内で調整可) / 目安160時間/月(精算幅140〜180H) / 一部リモート可
契約形態
業務委託(フリーランス)
開発環境
開発/検証環境: ・クラウド: AWS(S3, Redshift Serverless, EMR Serverless, IAM, Glue/Lake Formation など想定) ・言語/フレームワーク: Python, PySpark, SQL ・データ形式: Parquet/ORC/CSV など ・ドキュメンテーション: Confluence/Notion等(類似ツール) ・バージョン管理: Git系ツール
作業時間
10:00〜19:00目安(初日のみ出社)
精算基準時間
140h〜180h
募集回数
1回
スキル
企業名
サービス/プロジェクト名
詳細スケジュール/リリース時期
現場責任者の雰囲気
開発体制の詳細
詳細は面談でお伝えします。ご相談ください。
一部の情報は非公開の場合があります
案件について詳しく聞いてみませんか?
知りたい内容を選んでください(複数選択可)