11月・在宅併用＼Python経験者必見！／AWS Glue×PySpark★大量データを扱うデータ連携開発｜オンサイト,リモート(福岡県)｜システムエンジニア（SE）

Python＋SQL＋AWSを組み合わせ、データ処理・データ連携システムを開発するお仕事です。 大量データを扱うため、一般的なpandas中心の処理ではなく、PySparkによる分散処理をメインに使用します。 「Python開発経験はあるけれど、今後クラウドやデータ基盤にも強くなりたい」という方にピッタリの案件です。 【業務詳細】 ・AWS上に構築されたデータ連携基盤に対する開発支援 ・Python（PySpark）を使用したデータ加工・変換処理の開発 ・大量データを対象としたETLジョブの設計・実装 ・SQLを使用したデータ抽出、加工、集計、検証 ・AWS Glue上で実行するジョブやデータ連携処理の開発 ・基本設計書などの設計資料をもとにした詳細設計・実装 ・テスト仕様に沿った単体／結合テスト、データ検証 ・処理結果やエラー発生時のログ確認、原因調査・改修 ・既存ジョブの仕様確認や処理内容の調査・改善 ・大量データを効率よく処理するためのPySparkコードの最適化 【身に付くスキル】 ・Python／PySparkによる大規模データ処理 ・AWS Glueを中心としたAWSデータ基盤 ・ETL／ELTの設計・開発知識 ・SQLによるデータ操作・検証 ・データパイプラインの設計・構築経験 ・クラウド環境におけるデータエンジニアリング 【スケジュール】 2026年11月～2027年6月 ※延長の可能性あり 【開発環境】 ・AWS：Glue、S3等 ・言語：Python、PySpark ・DB／データ操作：SQL ・データ処理：Apache Spark ・関連技術：ETL／ELT、データ連携基盤 ・その他：Databricksなど

1回