Python＋SQL＋AWSを組み合わせ、データ処理・データ連携システムを開発するお仕事です。 大量データを扱うため、一般的なpandas中心の処理ではなく、PySparkによる分散処理をメインに使用します。 「Python開発経験はあるけれど、今後クラウドやデータ基盤にも強くなりたい」という方にピッタリの案件です。 【業務詳細】 ・AWS上に構築されたデータ連携基盤に対する開発支援 ・Python（PySpark）を使用したデータ加工・変換処理の開発 ・大量データを対象としたETLジョブの設計・実装 ・SQLを使用したデータ抽出、加工、集計、検証 ・AWS Glue上で実行するジョブやデータ連携処理の開発 ・基本設計書など...
・Pythonを使用した開発経験 ・SQLを使用した開発／データ操作経験 ・AWSの基本的な知識・利用経験 ＼ここがポイント！／ ★ Python経験を活かしてデータエンジニアへ！AWS×PySpark×SQL／博多＋リモート併用 ＼活かせる経験／ ・PythonによるWeb／業務システム・バッチ開発 ・SQLを利用したデータ操作・データベース開発 ・AWSサービスを利用した開発・運用経験 ・Apache Spark／PySparkを利用したデータ処理 ・ETL／ELTやデータ連携システムの開発経験
大手銀行における流動性リスクシステムの基盤更改プロジェクトです。 既存のオンプレミス環境からAWSへの移行を推進しており、以下の対応を進めております。 ・データベース移行（EXADATAからRDS for Oracleへ移行） ・業務サーバ移行（VMware仮想マシン(RHEL)からEC2(RHEL)へ移行） ・分散処理の一部構成変更（Amazon EMRの採用） 【担当業務】 現在、リスク系システム保守/更改案件、情報系システム(DWH)保守案件、分散リスク系システム統合化案件など複数のプロジェクトが並行して稼働しております。 各プロジェクトを横断した課題管理や進捗管理、技術調整等を推進いただくインフラリーダーを担当して...
・インフラ設計・構築案件におけるPL、PM、またはリーダー経験 ・AWS環境に関する基礎的〜実践的な知見・理解 ・複数プロジェクトを横断した課題管理・進捗管理スキル ・現場常駐での勤務が可能な方
・ データレイク / ETL 基盤の構築 ・ AWS Glue（Apache Spark）による分散処理 ・ ETL 開発 ・ S3 / Lake Formation を用いたデータ管理・セキュリティ設計 ・ BigQuery ベースの DWH 環境整備 ・ AWS → GCP 間データ連携パイプラインの最適化 ・ BigQuery によるデータモデリング・クエリ最適化 ・ IaC を軸としたマルチクラウド管理 ・ Terraform による環境差分管理・自動化 ・ 品質管理・運用効率化 ・ Airflow などのワークフロー管理と CI/CD 整備 ・ データ品質テストの自動化
・ AWS 環境でのインフラ構築・運用経験（S3 / IAM / VPC など） ・ GCP での構築経験（特に BigQuery と IAM/ネットワーク設定） ・ BigQuery を用いた分析 SQL 実務経験（パーティショニング/クラスタリング） ・ AWS Glue（PySpark）での ETL 開発・パフォーマンスチューニング ・ Terraform による IaC 実践（マルチクラウド or 複数環境）
・分散処理環境・コンテナ管理環境における以下2つの研究開発テーマについて、提供される仮説やアイデアをもとにした実装・検証・考察・報告を担当するポジション ①分散処理のサービス品質予測モデルの構築 ②大規模言語モデル（LLM）・オントロジー連携によるRCA手法の構築 ・期待すること：立案された仮説をスピーディーに実装し、関係者と密に連携を取りながら、検証サイクルを回すこと 【作業内容】 ・提供された仮説やアイデアのコードベースへの落とし込み ・先行研究論文の数式・アルゴリズムや既存ソースコードの理解、およびそれらの改変・実装追加 ・機械学習モデル（グラフ構造処理、強化学習、各種機構等）や損失関数の実装、特徴量加工、データ拡張、パ...
-Pythonを用いた機械学習（特に深層学習）モデルの実装経験 -先行研究論文の数式やアルゴリズム、および公開されているソースコードを読み解き、自ら実装・改変できる力 -グラフ構造処理、強化学習、特定の注意機構のいずれか（または複数）に関する基礎知識と実装経験 -実装したコードの意図や検証結果を、チームメンバーに対して分かりやすく論理的に説明できるコミュニケーション能力
【フルリモート／週5】Pythonデータエンジニア（モダンデータスタック・ペタバイト級データパイプラインのアーキテクチャ設計） ### お任せしたいこと 自社プロダクトや全社横断のデータ利活用を根底から支えるため、Pythonおよびモダンデータスタック（dbt, Airflow, Snowflake/BigQuery等）を活用した、ペタバイト級のデータパイプラインとデータプラットフォームの設計・開発をお任せします。 「とりあえずCronで回すだけのスパゲッティ化されたバッチ処理」や「誰も品質を保証できないデータスワンプ（沼）」を徹底的に排除し、冪等性（Idempotency）とデータリネージを担保した堅牢なデータアーキテク...
【案件名】 製造業向けSaaSの設計・機能改善支援（PHP／Laravel） 【業務概要】 製造業向けWebアプリケーションにおいて、以下をご支援いただきます。 ・PHP／Laravelを用いたWebアプリケーション開発 ・マルチテナントSaaSの設計、機能改善 ・API、DB、スキーマ設計および性能改善 ・AWS環境でのインフラ設計、構築 ・技術的負債の解消、非機能要件の改善 ・コードレビュー、技術支援 【条件】 ・単価：～90万 ※上振れ相談可 ・時期：7月または8月～ ・リモート頻度：フルリモート ・場所：地方可 ・面談：Web1回 【必須スキル】 ・PHP／Laravel開発経験 ・Webアプリケーションのアーキ...
週5
某大手金融機関における流動性リスクシステム基盤の更改プロジェクトです。 オンプレミス環境からAWSへの移行を主導いただきます。 具体的には、EXADATAをRDS for Oracleへ、VMware仮想マシン(RHEL)をEC2(RHEL)へ移行し、分散処理の一部にはAmazon EMRを利用する構成へと変更します。 このプロジェクトは、基幹システムの安定稼働と最新技術への適応を目指します。 募集背景 既存の基幹システム基盤を最新のクラウド技術へ刷新し、将来にわたる安定性と拡張性を確保することが目的です。 この大規模なシステム移行を成功させ、その後の維持保守を担うチームメンバーを増員します。
募集ポジションにより求めるスキルが異なります。 【インフラリーダー】 ・オンプレミス環境での設計・構築経験 ・リーダーまたはプロジェクトマネージャーとしての経験 ・AWSに関する深い知見 ・複数プロジェクトを横断した課題管理および進捗管理の経験 ・常駐勤務が可能な方 【AWS構築要員】 ・AWS構築の実務経験（設計経験があれば尚歓迎） ・常駐勤務が可能な方
案件多数！フリーランス未経験の方もOK！ インボイス未登録の方もご応募ください！ リモート案件も多数ありますが、 オンサイト作業可能な方は大歓迎です。 ■■想定作業 ・通信キャリア向け基幹システム刷新対応 ・Java/Springを用いたバッチおよび業務開発対応 ・基本設計以降の工程対応および自走開発 ・Kafka等を用いた分散処理基盤の対応支援 ・受入テストおよびリリース対応支援
・JavaおよびSpringまたはStrutsでの開発経験のある方 ・バッチ開発経験のある方 ・基本設計以降を自走できる方 ・Git等の構成管理ツール使用経験のある方 - 基本週5日フルタイム作業が多いです。 - 副業希望の方はミスマッチです。
- 本案件は大手通信キャリアの基幹システム刷新プロジェクトで、システムエンジニアとして東京都で勤務し、一部リモート可、週5日稼働となります。
- 基本設計から受入テスト、リリースまでを担当し、国内移管プロジェクトで構成管理チームや課金チームと連携しながら業務を遂行します。
- 必須はJava（Spring/Struts）開発・バッチ開発・Git経験・基盤システム知識・設計以降の自走力・常駐・長期参画可能。歓迎はbashスクリプト・Kafka・Hadoop・RocksDB・Flink・Beam・Ignite等の分散・ストリーム処理技術経験です。
- 報酬は月額40万円〜65万円で、週5日稼働の安定した働き方が可能です。
- 大手通信キャリアの基幹システム刷新プロジェクトに携わり、設計からリリースまでを経験できる貴重な案件です。
- Java（Spring/Struts）開発経験とバッチ開発経験を有し、長期参画が可能な方に特におすすめです。
ヘルスケア領域のスタートアップ企業様となります。 人手不足に直結する社会貢献性の高いプロダクトです。 サービスの改善、追加開発（仕様の調整～リリース） ・機能/改善各1つに担当者としてタスクを持ち裁量権高く作業をいただく想定です ・FE、BEとそれぞれ分けるというよりも、1+αの働き方が期待されます ・アジャイル開発を進めており、ビジネスサイドとのコミュニケーションも含めスピード感を持った開発を行います ■開発工程： ■開発環境： ■必須スキル： ・アジャイル開発経験がある方（スタートアップ～ベンチャー企業、新規事業案件のご経験） ・なぜこの仕様になっているかを捉えていたり、技術選定や仕様調整の経験があり、開発～テスト～リ...
### ■ 案件概要：Salesforceからの脱却とOCI上でのフルスクラッチ再構築 現在、Salesforce上で稼働しているSaaS型業務システムの全面的な再構築プロジェクトです。 移行先はOracle Cloud Infrastructure (OCI)。 既存システムの限界を超え、より柔軟でスケーラブルな次世代プラットフォームを生み出すため、スクラムチームの一員としてAIを活用したフルスタック開発を牽引していただきます。 ### ■ 現状と課題：モダン化に伴う「複雑性のコントロール」 長年稼働してきたシステムからの脱却という大きな転換期を迎えており、プロジェクトは以下の課題に直面し、それを乗り越えるための知見を求め...
道路マネジメント向けプラットフォームのバックエンド開発およびデータ基盤構築を担当いただきます。 要件が流動的な状況での設計判断、データドリブンなシステム設計、複数ソースのデータ統合・モデリングを推進するフェーズです。 API実装、ETL/データパイプライン構築、大量データ処理の最適化、運用を通じてプロダクトの価値最大化に貢献いただきます。 勤務地は築地のオフィス常駐、期間は2026年5月〜9月末（延長の可能性あり）です。 募集背景 道路関連データの統合活用を加速するため、バックエンドとデータ基盤を強化。要件が変化しやすい初期〜成長フェーズにつき、即戦力となるエンジニアを増員募集します。
・Python / Java / Node.js のいずれかでの開発実務経験 ・REST API の設計・実装経験 ・SQL および RDB を用いた開発・運用経験 ・Git を用いたチーム開発の経験 ・ETL／データパイプラインの設計・構築経験 ・大規模データの処理・最適化に関する実務経験
AI関連プロダクトの環境整備において、機械学習基盤のSREとして設計・実装・運用を一気通貫で担当いただきます。Kubernetes（AKS/EKS）上でのML基盤構築、IaCおよびCI/CDの整備、障害時の原因分析やパフォーマンス改善まで幅広く対応いただくポジションです。 某大手商社グループのDX推進案件におけるリードデータサイエンティスト領域と連携し、技術実装からビジネス要件の落とし込みまでをご支援いただきます。 フルリモートでの稼働となります。
SRE ・Kubernetes（AKS/EKS）の本番運用経験 ・Rayを用いた学習処理の分散並列実行の実務経験 ・障害対応および性能チューニングの実務経験
【案件名】 ネットワーク装置監視システムの機能追加・変更開発 【業務概要】 大手通信事業者のネットワーク機器をリアルタイム監視するシステムのバックエンド開発案件。 詳細設計～製造～単体／結合試験までをウォーターフォールで対応。 【条件】 ・単価：55-60万 スキル見合い ・リモート頻度：基本リモート ・場所：基本リモート、豊洲／川崎 ・時期：2026年5月～ ・募集人数：1名 ・外国籍：不可 ・個人事業主：可 ・面談：1回（サクヤ同席） 【必要スキル】 ・Javaアプリケーション開発経験3年以上 ・機能設計／詳細設計の経験2年以上 【尚可スキル】 ・ネットワーク知識（SNMP、ICMP、Telnet） ・分散処理技術...
週5
大手通信事業者向けのネットワーク機器をリアルタイムで監視するシステムにおいて、バックエンドの機能追加および改修を担当いただきます。 ウォーターフォール開発で、詳細設計から製造、単体・結合テストまでを一貫して対応します。 監視対象は多数のネットワーク装置で、障害検知・通知やメトリクス収集のロジック改善、処理性能の最適化などが主なタスクとなります。 基本はリモートでの作業ですが、必要に応じて首都圏の拠点と連携しながら進めます。 募集背景 監視対象装置やトラフィック増加に伴う機能拡張、および既存機能の性能改善を目的とした増員募集です。
一部リモート ・Javaによるアプリケーション開発経験3年以上 ・機能設計/詳細設計の実務経験2年以上 ・ウォーターフォールでの開発工程（設計～テスト）における実務経験
【フルリモート／週5／Python】最先端のAIモデルを最速で社会実装する次世代MLOps・機械学習基盤エンジニア ### お任せしたいこと ［役割］MLOpsエンジニア・バックエンドエンジニアとして、データサイエンティストが開発した最先端の機械学習モデル（画像認識、自然言語処理、推薦システム等）を、大規模トラフィックが流れる商用プロダクトへ安定的かつ高速にデプロイ・運用するための次世代MLOps基盤の設計および開発をお任せします。 ［役割に対して求める成果］「AIモデルの精度は高いが、本番環境で動かすと遅い・落ちる」という機械学習プロジェクト特有の死の谷（PoC死）をエンジニアリングの力で乗り越え、Pythonとコンテナ技...
【フルリモート／週5／Python】AI創薬・次世代バイオインフォマティクスプラットフォームのバックエンドエンジニア ### お任せしたいこと ［役割］バックエンドエンジニアとして、膨大なゲノムデータやタンパク質構造データをAIで解析し、新薬開発（創薬）のプロセスを劇的に短縮・効率化する次世代バイオインフォマティクスプラットフォームの開発をお任せします。 ［役割に対して求める成果］数テラバイトに及ぶ秘匿性の高い生命科学データや医療データをセキュアに管理し、バイオインフォマティシャンや研究者が開発した機械学習モデル（化合物探索、毒性予測など）をバックエンドシステムに統合して、スケーラブルかつ安定して計算処理を実行できる基盤を実...
【フルリモート／週5／Python】ペタバイト級のビッグデータを統合するモダンデータスタック（データ基盤）のデータエンジニア ### お任せしたいこと ［役割］データエンジニアとして、社内外のあらゆるシステムから生成される数千億レコードのログデータやトランザクションデータを収集・統合し、分析チームや機械学習モデルがいつでも活用できる状態にするための、スケーラブルなデータパイプラインおよびデータウェアハウス（DWH）の構築・運用をお任せします。 ［役割に対して求める成果］データ品質（正確性・網羅性・鮮度）を厳格に担保しながら、ペタバイト級のデータ処理を低コストかつ高速に実行できるアーキテクチャの設計、およびビジネスの成長に合わ...
AIスタートアップにて、Kubernetesを中心としたクラウドインフラの設計・構築・運用を担当いただきます。 機械学習/強化学習ワークロードを支える基盤の環境整備や分散処理環境の設計・導入をリードします。 - Kubernetesによる機械学習基盤の設計・構築・運用 - クラウド環境上でのML基盤の新規/既存構築 - Ray を用いた強化学習向け分散処理基盤の構築 - クラウドインフラ全体の設計～運用リード 【開発環境】 - クラウド: Azure（メイン）、AWS（新規PJ）、GCP（一部） - IaC: Terraform - 言語/ツール: Python、TypeScript、GitHub Actions、Docke...
SRE ・Azureでのクラウド設計/運用/保守の実務経験 ・Kubernetes（AKS または EKS）の本番運用経験 ・Ray を活用した学習ジョブの分散並列処理の実務経験
住友商事グループのDX推進案件にて、リードデータサイエンティスト/リードSREとして、技術実装からビジネス戦略までを一気通貫でリードいただきます。 主な業務は以下のとおりです。 ・Kubernetes（AKS/EKS）を用いた機械学習基盤の設計、構築、運用支援 ・TerraformによるIaC化と、GitHub Actions を活用したCI/CDパイプライン整備 ・障害発生時のトラブルシュート、根本原因分析、パフォーマンス最適化 フルリモート環境で、即日からの参画が可能です。
SRE ・Kubernetes（AKS もしくは EKS）の本番運用経験 ・Ray を用いた機械学習トレーニングの分散並列処理の実務経験
▼案件名 AI・機械学習基盤の環境整備・SRE ▼内容 Kubernetesを中心としたクラウドインフラの設計・構築・運用を担当。 AI・機械学習基盤の環境整備および分散処理環境の構築を行う。 ・Kubernetesによる機械学習基盤の設計／構築／運用 ・クラウド環境での機械学習基盤構築 ・Rayによる強化学習の分散処理基盤構築 ・クラウドインフラの設計～運用までのリード 【開発環境】 ・クラウド：Azure（メイン）、AWS（新規PJ）、GCP（一部） ・IaC：Terraform ・言語／ツール：Python、TypeScript、GitHub Actions、Docker、Linux、Kubern...
▼必須スキル ・AzureまたはAWSのクラウド設計／運用／保守経験 ・Kubernetes（AKS／EKS）の運用経験 ・Rayを用いた学習の分散並列処理経験 ▼尚可スキル ・PythonまたはTypeScriptでの開発経験 ・SREとしての実務経験 ・クラウドアーキテクトとしての提案／技術選定経験
住友商事グループのDX推進において、リードデータサイエンティストと連携しながら、技術実装から運用、ビジネス活用までを一気通貫でリードいただくポジションです。 主な業務は以下の通りです。 ・Kubernetes（AKS/EKS）を活用した機械学習基盤の設計、構築、運用支援 ・TerraformによるIaC化と、GitHub Actionsを用いたCI/CDパイプラインの整備 ・障害発生時の原因究明やパフォーマンスチューニング、信頼性向上の取り組み フルリモートでの稼働となり、SREとしてMLOps/プラットフォーム領域を横断的に推進いただきます。
SRE ・Kubernetes（AKSまたはEKS）の本番運用経験 ・Rayを用いた学習処理の分散並列実行の実務経験 ・インフラ/アプリ双方に跨るトラブルシュート能力
■案件の内容 大手インターネット企業にて、全社データ分析基盤のアーキテクチャ設計および構築をMLエンジニアとして担当していただきます。 主な業務は、数千万〜数億レコード規模の大規模データを扱うデータレイクやDWH（BigQuery）の設計・運用です。 具体的には、OCIからGCPへのクロスクラウドデータ連携の実装や、ETL/ELTパイプラインの開発、Terraformを用いたIaCによるインフラ管理を担っていただきます。 また、AIデータアクセス基盤（MCP/Agent）の構築や、データガバナンス・セキュリティ設計（IAM/VPC）など、最先端のデータ基盤構築に幅広く携わることができる環境です。 ■求めるスキル： ・データ...
リモート併用
【フルリモート／週5／Python】サイバーセキュリティ・脅威インテリジェンスSaaSのバックエンド開発 ### お任せしたいこと ［役割］バックエンドエンジニアとして、世界中から収集されるサイバー攻撃の予兆やマルウェアの解析データを統合・分析し、企業を高度な脅威から守るセキュリティプラットフォームのAPIおよびデータ処理基盤の開発をお任せします。 ［役割に対して求める成果］日々爆発的に増加する膨大なセキュリティログや脅威情報（TI）をリアルタイムに収集・正規化し、検索・分析基盤へと安定してつなぎ込む堅牢なデータパイプラインと高速なAPIの実現。 ### 具体的な業務内容 ・Python（FastAPI）を用いた脅威情報プ...
【フルリモート／週5／Python】小売・EC向けAI需要予測SaaSのバックエンド・データ基盤開発 ### お任せしたいこと ［役割］バックエンドエンジニアとして、小売店やEC事業者の膨大な販売データを機械学習モデルで分析し、最適な発注量や価格を算出する需要予測SaaSのAPIおよびデータ処理基盤の開発をお任せします。 ［役割に対して求める成果］テラバイト級のトランザクションデータや外部データ（天候・カレンダー情報等）を安定かつ高速に処理するデータパイプラインの構築と、機械学習モデルの推論結果をフロントエンドへ低遅延で返す堅牢なAPIの実現。 ### 具体的な業務内容 ・Python（FastAPIまたはDjango）を...
### ● 案件概要 多くのAIプロジェクトがPoC（実証実験）で足踏みをする中、私たちは違います。 LLM、音声、画像認識。 これらの先端技術を製造業や大企業の心臓部（実業務）へ実装し、血を通わせる。 それが私たちの使命です。 今回は、その「知能の爆発」を支えるSRE（Site Reliability Engineering）エンジニアを募集します。 東大発の知性とあなたのエンジニアリングが融合したとき、日本の製造業の景色が変わります。 ＜🚀 SREが「主役」になれる、3つの圧倒的理由＞ 1. 機械学習基盤を「設計」から支配する 既存の環境を守るだけではありません。Kubernetesを用いたML基盤の設計・構築からク...
【概要】 Kubernetesを中心としたクラウドインフラの設計・構築・運用をお任せします。 ・Kubernetesによる機械学習基盤の設計・構築・運用 ・クラウドでの機械学習環境構築 ・Rayによる強化学習の分散処理 開発環境 クラウド：Microsoft Azure（メイン）、AWS（新規プロジェクトで使用）、GCP（一部） IaC：Terraform 言語・ツール：Python、TypeScript、GitHub Actions、Docker、Linux、Kubernetes、SQL
必須： ・AzureもしくはAWSのパブリッククラウド環境での設計・運用・保守経験 ・Kubernetes（AKS/EKS）の運用経験 ・Rayによる学習の分散並列処理経験
■案件の内容 Kubernetesを中心としたクラウドインフラの設計・構築・運用をお任せします。 ・Kubernetesによる機械学習基盤の設計・構築・運用 ・クラウドでの機械学習環境構築 ・Rayによる強化学習の分散処理 ■募集背景 東京大学研究室発のAIスタートアップとして、サービス拡大に伴いクラウド領域の体制強化を行います。 現在は若手インターン中心の構成のため、インフラ設計から運用までを主導できる経験豊富なプロフェッショナルを求めています。 2月からはAWSを用いた新規プロジェクトも始動するため、マルチクラウド環境での知見も活かせるフェーズです。 ■募集職種：SRE,クラウドエンジニア ■担当工程：要件定義,基...
ビッグデータ処理システムの開発案件です。 具体的な業務としては、データ分析基盤の構築や機械学習を用いたデータ分析、可視化などを行っていただきます。分散処理システムの経験やBIツールを用いた可視化、機械学習に対する知識などが求められます。
Python, SQL - データ分析基盤の構築経験 - Python、SQLなどを使用したデータ分析の経験 - BIツールを使用したデータ可視化の経験
データ集計基盤の構築・運用をご担当いただきます。 データサイエンティストとコミュニケーションを取りながら開発を進めていきます。求められるスキルには、Javaを使用した開発経験や分散処理システム（Hadoop）の知見があります。
Java11 以上, Play Framework, SQL - Javaを使用した開発経験 - SQLの経験
広告配信基盤の開発案件です。 担当工程は基本設計〜テストを想定しており、開発で使用する言語はJavaです。現場では、HadoopやSparkなどの分散処理システムの経験も積むことができるため、データエンジニアとして実績を積みたい方にもおすすめの案件です。
Java11 以上, Play Framework - Javaを使用した開発経験3年以上 - SQLの実務経験
データ分析基盤の開発やETL開発をご担当いただきます。 アーキテクチャ設計や要件定義からデータの分析まで幅広い工程に携わっていただく予定です。 Goを使用した開発ですが、ビッグデータや分散処理の知見も積むことができます。
Go - Goを使用した開発経験 - GCP環境での開発経験
案件多数！フリーランス未経験の方もOK！ インボイス未登録の方もご応募ください！ リモート案件も多数ありますが、 オンサイト作業可能な方は大歓迎です。 ■■想定作業 ・Kubernetes基盤の設計構築運用 ・機械学習クラウド基盤の構築 ・Rayによる分散処理基盤構築 ・クラウドインフラ設計運用対応 ・AI基盤環境の整備および改善
・AzureまたはAWSのクラウド設計運用保守のご経験 ・Kubernetesの運用のご経験 ・Rayを用いた分散並列処理のご経験 - 基本週5日フルタイム作業が多いです。 - 副業希望の方はミスマッチです。
保険会社向けに、AI分析対象となる大規模データのETLパイプラインを設計・実装いただきます。 分散処理基盤の構築、ジョブスケジューリング設計、SageMakerを用いた機械学習パイプラインの実装・実行、さらにデータ保護やデータガバナンス観点での設計・実装までをご担当いただきます。 想定業務: - ETLパイプラインの要件定義～設計・実装・運用 - 分散処理/バッチ基盤の設計、Airflow(MWAA)によるジョブスケジューリング - SageMaker による学習・推論パイプラインの実装、MLOps整備 - データ保護/ガバナンス設計（カタログ、権限、監査、コスト最適化） - Pythonを用いた実装全般
- AWSの実務経験（データ基盤/分析基盤の設計・実装経験） - 上流工程（要件定義～基本設計）のリード/参画経験 - Pythonでの開発経験 - ETL/データパイプライン設計・実装経験 - Airflow などのジョブスケジューラ運用経験
エンド直案件にて、九段下常駐でデータレイク/ETL基盤の設計・構築・運用を担当いただきます。 主な業務は以下の通りです。 ・データレイクおよびETL基盤の構築 ・AWS Glue（Apache Spark/PySpark）による分散処理とETL開発 ・S3/Lake Formation を利用したデータ管理とセキュリティ設計 ・BigQuery を中心としたDWH環境の整備、データモデリング、クエリ最適化 ・AWS→GCP 間のデータ連携パイプライン最適化 ・Terraform を活用したIaCによるマルチクラウドの構成管理/自動化 ・Airflow/MWAA 等のワークフロー管理とCI/CD基盤整備 ・データ品質テストの自動...
データエンジニア ・AWSでのインフラ構築/運用経験（S3, IAM, VPC など） ・GCPの構築経験（特に BigQuery と IAM/ネットワーク設定） ・BigQuery を用いた分析SQLの実務経験（パーティショニング/クラスタリングの知見） ・AWS Glue（PySpark）でのETL開発とパフォーマンスチューニング経験 ・Terraform によるIaCの実践経験（マルチクラウドまたは複数環境）
インディバースフリーランスであなたにピッタリの
フリーランス案件が見つかる
7万件以上のフリーランス案件から一括検索
エンジニア・クリエイター・コンサルタント向けのたくさんの案件を一括検索可能です。
あなたの専門性と希望条件に最適な案件を厳選してお届け
プロフィール登録で、あなただけのカスタマイズされた案件情報を受け取れます。時間をかけずに理想の案件を見つけましょう。
インディバースフリーランスであなたにピッタリの
フリーランス案件が見つかる
7万件以上のフリーランス案件から一括検索
エンジニア・クリエイター・コンサルタント向けのたくさんの案件を一括検索可能です。
あなたの専門性と希望条件に最適な案件を厳選してお届け
プロフィール登録で、あなただけのカスタマイズされた案件情報を受け取れます。時間をかけずに理想の案件を見つけましょう。