Apache Sparkの業務委託案件・フリーランス求人一覧|ページ3

Apache Spark
Apache Spark

Apache Sparkの業務委託案件・フリーランス求人一覧|ページ3

全 420 件中 81-120件表示
募集中9ヶ月前

【Java/リモートあり】官公庁のデータ連携基盤構築に伴う設計・開発

830,000円〜880,000円/月
業務委託東京都
職務内容

【20代、30代が活躍中!】 ※週5日〜OKの案件です! ※実務経験1年以上お持ちの方が対象の案件です! ■概要: 官公庁のデータ連携基盤構築に伴う設計・開発業務になります。 データ連携基盤を活用する業務は、現時点では監査業務になります。 【詳細】 当該省庁が保有している各システムのデータをETLにて連携し、データマート又はデータウェアハウスを構築します。 また、ユーザーが検索する画面(Webアプリ)の構築も行います。 ■必須スキル: ・Azureの構築経験1年以上(ネットワーク等のインフラ構築周り) ・ETLツール等を用いたデータ連携基盤の構築経験 ・サブリーダー経験 ■尚可スキル: ・ガバメントクラウド(行政システム専...

必須スキル

・Azureの構築経験1年以上(ネットワーク等のインフラ構築周り) ・ETLツール等を用いたデータ連携基盤の構築経験 ・サブリーダー経験

募集中9ヶ月前

【フルリモート/Python/AWS】製薬業界向けサービスを展開する事業会社でのアプリケーションエンジニア募集

830,000円〜900,000円/月
業務委託東京都 中央区 銀座
職務内容

薬局経営を支援する薬局ダッシュボードの画面・機能開発する責務を担っていただきます。 ■開発環境 ・React、Next ・TypeScript ・AWS(Cognito、Amplify、API Gateway、Lambda、RDS、S3) ・Python ・その他(GitHub、Datadog、Google Analytics、GTM、KARTE)

必須スキル

・Pythonを利用した開発経験(目安:2年以上) ・AWSを利用した開発・運用経験(目安:2年以上) ・Webアプリケーションの開発経験(目安:5年以上) ・複数人でチームを組みサービス開発をした経験 ・RDBMS / NoSQLの知識・設計の経験

募集中10ヶ月前

【Python/リモートあり】データ利活用支援案件

550,000円〜600,000円/月
業務委託品川
職務内容

【20代、30代が活躍中!】 ※週5日〜OKの案件です! ※実務経験1年以上お持ちの方が対象の案件です! ■内容: データ加工や編集プログラム開発、PowerBIダッシュボード開発など大手メーカーのDX案件(SCPチーム)における、データ利活用・可視化対応業務を実施していただきます。 ■必須: ・PowerBIでのダッシュボード構築設計/開発経験(9月参画) ・顧客の要求事項に対するデータ活用・可視化に向けてのデータ加工・編集、データマート、ダッシュボードの具体化検討 ・DB設計および複雑なSQLの経験 ・Pythonを使用したデータ解析・AWS・DB関連の業務参加経験 ・50代前半まで(スキル見合いで+1~2歳は検討しま...

必須スキル

・PowerBIでのダッシュボード構築設計/開発経験(9月参画) ・顧客の要求事項に対するデータ活用・可視化に向けてのデータ加工・編集、データマート、ダッシュボードの具体化検討 ・DB設計および複雑なSQLの経験 ・Pythonを使用したデータ解析・AWS・DB関連の業務参加経験 ・50代前半まで(スキル見合いで+1~2歳は検討します)

募集中10ヶ月前

【Python・PowerBI/品川】データ利活用エンジニア/大手メーカーDX支援

750,000円〜810,000円/月
業務委託東京都 港区 品川
職務内容

某大手メーカーのDX推進におけるデータ利活用支援を担当します。2025年9月より、性能要件を踏まえたデータ整備やデータマートの概要設計を行い、10月以降は以下の2つの業務に本格的に着手します。1つ目は、AWS Glue上でのSparkジョブ(Python)を用いたデータ収集・加工プログラムの開発、2つ目は、整備されたデータマートを基にしたPowerBIでのダッシュボード開発です。開発後は結合テストや他チームとの連携も含めた活動に参加いただきます

必須スキル

【共通】 ・データ利活用・可視化のための加工・編集、データマート設計、ダッシュボード検討の経験 ・DB設計および複雑なSQLの理解・経験 【①データ収集・加工プログラム開発】 ・Pythonでの設計・開発経験 ・アウトプットを意識したDB・テーブル設計経験 【②ダッシュボード開発】 ・PowerBIを用いたダッシュボード設計・開発経験

募集中10ヶ月前

【フルリモート/アーキテクト】Web3.0ベースのデータスペース相互接続

1,660,000円〜1,800,000円/月
業務委託東京都
職務内容

■課題 データスペース間の接続方式(セマンティックウェブ、Web3.0)に基づくアーキテクチャ検討が必要。 初期受注時はスコープアウトしていたがDADC(IPA)要請を受けて対応が必須な状況。 ■概要 データスペース間接続に関する共通コンポーネント開発の全体アーキテクト設計及び実装ができる技術要員の支援 ■ポジション アーキテクト ・基盤となる海外 PF との相互接続機能、トラスト機能などの開発 ・(不要)ビジネス要求定義 ※ビジネス化検討は他PJチームにて実施するため ・システムアーキテクチャ設計設計 ・機能要件の詳細化 ・プロトタイプ開発・PoC ■備考 作業場所:リモート 契約期間:2025/08/01

必須スキル

・セマンティックに関する全体アーキテクチャ設計が可能 ・自身で手を動かしてプロトタイプの設計・実装が可能 ・下記技術要素に対する経験がある 1.データ収集・解析 ・クローラー ・パーサー 2.意味付け・表現 ・アノテーション/メタデータ付与 ・RDF化 3.データ管理・検索 ・SPARKQL ・推論エンジン ・ETL ・上記技術に関するピンポイントな経験を求む ※例えばGCPやAzureによるデータ分析・活用基盤、BI基盤構築の経験者などは対象外 ・統計・機械学習モデルを組み込んだプロダクションレベルのバックエンドシステム実装およびMLOps経験 ・pythonによるプロダクションレベルのスクリプトの実装経験 ・必要な時に...

募集中11ヶ月前

【二子玉川/SQL/Python】 AIプラットフォームの構築

830,000円〜900,000円/月
業務委託東京都 二子玉川(東京都)
職務内容

AIモデルのエンドツーエンド開発:ビジネス部門との議論、データ収集、EDA(探索的データ分析)、モデル学習、評価、リリースまでを担当 モデル評価と改善:月次でのパフォーマンス評価と継続的な改善 ビジネスへの説明:EDAやモデル結果をビジネス部門に分かりやすく説明 目標の共有と調整:ビジネス部門と目標を共有し、フィードバックを反映

必須スキル

・データパイプライン・統合ソリューション設計/構築経験 ・SQL/NoSQL・データウェアハウス・データモデリング知識 ・データマイニング・機械学習アルゴリズム理解 ・Pythonでの機械学習モデル開発経験 ・Linuxコマンド/スクリプト操作経験 ・Hadoop、Hive等ビッグデータツール利用経験 ・要件に応じたツール設計・構築経験 ・データサイエンス基盤の構築・運用経験

募集中11ヶ月前

【リモート併用/大崎/Python/dbt】 モダンなデータ基盤構築・運用

830,000円〜900,000円/月
業務委託東京都 品川区 大崎
職務内容

Pythonを中心としたプログラミングによるデータ基盤の構築・運用を担当します。 SQLを用いたデータ分析やモデリング、dbtによるデータパイプラインの設計・開発、AWSまたは GCPを活用したインフラ構築も含まれます。 加えて、DatabricksやSnowflakeといった最新技術を用いた基盤の設計・運用や、TerraformによるIaC、 自動化されたワークフロー設計なども歓迎されます。 アジャイル(スクラム)開発の現場で、チームと連携しながら業務を推進していただきます。 【環境】 言語:Python、SQL クラウド:AWS、GCP ツール:dbt、Terraform、Databricks、Snowflake、Apa...

必須スキル

・Pull RequestベースでのPython等による開発経験(5年以上) ・データ基盤の設計・構築・運用経験(3年以上) ・SQLを用いたデータ分析やデータモデリング経験 ・AWSもしくはGCPを用いたサービスの構築経験(3年以上) ・dbtを用いたデータモデル・パイプライン開発経験(1年以上)

募集中11ヶ月前

【Python/リモートあり】GenerativeAI向けデータ基盤構築・運用支援(データエンジニア)

670,000円〜720,000円/月
業務委託新宿
職務内容

【20代、30代が活躍中!】 ※週5日〜OKの案件です! ※実務経験1年以上お持ちの方が対象の案件です! 【作業場所】新宿(週2リモート) 【時間】フレックスタイム制(コアタイム応相談) 【面談回数】1〜2回(オンライン) 【必須スキル】 ・Python/SQLによるデータ処理経験 ・RDB/NoSQL/DWHにおけるDB設計・運用経験 ・クラウド(GCP/AWSなど)の利用経験 ・Docker/Kubernetesを用いたインフラ構築経験 ・API開発またはデータ連携設計・実装経験 ・ビジネスレベルの日本語での円滑なコミュニケーション 【尚可スキル】 ・LLM/GenerativeAIの知見または活用経験 ・AI学習用...

必須スキル

・Python/SQLによるデータ処理経験 ・RDB/NoSQL/DWHにおけるDB設計・運用経験 ・クラウド(GCP/AWSなど)の利用経験 ・Docker/Kubernetesを用いたインフラ構築経験 ・API開発またはデータ連携設計・実装経験 ・ビジネスレベルの日本語での円滑なコミュニケーション

募集中6年前

Scala/データ分析・アドテクプラットフォーム開発案件・求人

〜1,000,000円/月
業務委託東京都 中央区 馬喰横山
職務内容

エンジニア向けデータ統合プラットフォームのサーバーサイド開発をお願いいたします。 作業内容イメージとしては下記の内容をお任せする予定です。 ・k8s on GCPを使ったデータパイプライン基盤 (Scala)開発 ・Spark on k8s を使ったパイプライン内のサーバーレスコンピューティング基盤(Scala)開発

必須スキル

Scala ・JavaもしくはScalaでの開発経験:3年以上 ・Git / Githubを利用した開発経験:3年以上

掲載終了NEW1時間前

【Maya/Unity】大手ゲーム会社3DCGゲーム_エフェクトアーティスト

750,000円/月
業務委託東京都 渋谷区
この案件を3行でまとめると
  • 職種: エフェクトアーティスト(3Dデザイナー)/勤務地: 東京都渋谷区/フルリモート勤務/稼働日数: 平日フル(100%)
  • モバイル・コンシューマーゲームにおけるエフェクト制作、検証、ツール支援、クオリティ管理・監修を担当し、ゲーム開発のビジュアル表現を高めます。
  • 必須スキル: Unity、Unreal Engine、Houdini、Maya、SPARK GEAR等でのエフェクト制作実務経験。歓迎スキル: 1タイトル以上の完成経験、ハードウェア制限下での表現追求、ワークフロー整備、シェーダー知識、監修・リーダー経験。
おすすめポイント
  • フルリモートで東京都渋谷区に拠点を持つ大手ゲーム会社のプロジェクトに参加でき、月額750,000円の安定した報酬が得られます。
  • モバイル・コンシューマーゲームのエフェクト制作に携わり、UnityやMayaなど主要ツールを活用した実務経験をさらに深められます。
  • エフェクト表現の検証やツール支援、クオリティ管理・監修業務を通じて、ゲーム開発全体のビジュアル品質向上に貢献できます。
掲載終了NEW2日前

【Databricks/Python】某大手企業のデータパイプライン移行プロジェクト

650,000円〜750,000円/月
業務委託東京都
この案件を3行でまとめると
  • 職種: データエンジニア/データサイエンティスト、勤務地: 東京都、リモート可、週3日程度の出社とリモートワークで稼働します。
  • 既存SparkパイプラインをDatabricksへ移行し、約1,000本規模のETLを実装・テストします。
  • Python、SQL、Apache Spark/PySpark、Databricks環境での開発経験が必須です。
おすすめポイント
  • 週3日程度の出社とリモートワークで柔軟に働ける環境です。
  • 月間140〜180時間の稼働で、報酬は650,000円〜750,000円/月です。
  • 約1,000本規模のETLパイプライン移行プロジェクトで実務経験を活かせます。
掲載終了4日前

【Python/データエンジニア】フルリモート可 データパイプライン移行支援

750,000円/月
業務委託東京都
職務内容

以下、概要になります ・フルリモート可能です ・大手企業のデータ基盤における既存SPARKパイプラインのDatabricks移行プロジェクト ・役割:開発メンバー ・主な業務:既存SPARKパイプラインの現状調査・仕様整理、DatabricksへのETLパイプラインの移行・実装、シルバー/ゴールドレイヤーのデータ変換処理の開発・テスト、移行後の動作確認・品質担保など

必須スキル

・DWH/データパイプライン開発・運用経験 ・Pythonを用いたデータ処理の実務経験 ・SQLによるデータ加工・集計の実務経験 ・Apache Spark/PySparkの経験 ・Databricksの経験 ・複数名チームでのプロジェクト参画経験

掲載終了9日前

Python 大手通信系企業内の内製開発(ETLチーム)

600,000円〜700,000円/月
業務委託東京都 港区 品川
この案件を3行でまとめると
  • エンジニアとして東京都品川・港区で勤務し、原則リモート可、週5日稼働、報酬は600,000円〜700,000円/月単価です。
  • ETLチームでPythonを用いたETLコーディングやワークフローシナリオ実装、UT作成・実施を担当します。
  • 必須スキルはPython開発10年以上、Spark・Kinesis使用経験、DWH/ETL理解です。歓迎はリーダー経験、マイクロサービス・サーバレス実装理解、Pandas、AWS、RDB、OSS活用等です。
おすすめポイント
  • 東京都品川・港区で原則リモート勤務、週5日稼働、月単価600,000円〜700,000円で安定した報酬が得られます。
  • Python開発経験10年以上でSpark・Kinesisを使ったETL実装経験がある方、またリーダー経験やマイクロサービス・サーバレス実装理解がある方に最適です。
  • ETLチームで詳細設計からコーディング、UT作成・実施まで幅広い工程を担当し、ビッグデータ環境で実務経験を積めます。
掲載終了16日前

【Python/AWS/Spark/一部リモート】データエンジニア(位置情報ビッグデータ分析基盤)

650,000円〜850,000円/月
業務委託
この案件を3行でまとめると
  • 職種: データエンジニア、勤務地: 未定、リモート可、稼働日数: 週5日、報酬: 650,000円〜850,000円/月です。
  • 移動体の地理空間データの評価・比較・調達支援を担当し、Python、AWS、Sparkを活用して大規模位置情報データの処理を進めます。
  • 必須スキル: Python開発経験、AWS利用経験、Sparkによる大規模データ処理実務経験、ビッグデータ処理知識。歓迎スキル: データ分析経験。
おすすめポイント
  • 一部リモート可で週5日稼働可能なため、柔軟な働き方が実現できます。
  • 報酬は月額650,000円〜850,000円と高めで、経験に応じた給与が期待できます。
  • Python、AWS、Sparkを駆使した大規模位置情報データ処理に携わることで、データエンジニアとしてのスキルをさらに磨けます。
掲載終了18日前

【Python/AWS/Spark】位置情報ビッグデータ分析基盤のデータエンジニア

950,000円/月
業務委託神田駅
職務内容

この案件では、移動体に関する地理空間データの評価と比較を行い、データ調達を支援します。 具体的には、位置情報データ処理ソリューションの設計から開発までを担当していただきます。 スケーラブルなデータパイプラインやETL基盤の構築に携わり、機械学習モデルを活用した予測分析にも貢献していただきます。

必須スキル

以下に挙げるスキルと経験が必須となります。 ・データエンジニアとしての5年以上の実務経験 ・要件定義からの一連の開発工程経験 ・大規模データ処理に関する豊富な経験 ・データパイプラインおよびETL基盤の構築経験 ・AWS環境での開発経験 ・Apache Sparkなどのビッグデータフレームワークの活用経験 ・Python、Java、SQLを用いた開発経験 ・Linux/Bashの知識、データベースおよびサーバーサイドの設計実装能力

掲載終了24日前

【Databricks,Datastage,PySpark,ETL/リモート併用】DatastageからDatabricksへのマイグレーション、パイロット検証【ミドル・シニアエンジニア(40代、50代、60代)】の案件

〜800,000円/月
業務委託東京都 中央区
職務内容

現行ETL基盤(IBM Datastage)からDatabricks(Lakehouse基盤)への移行パイロット検証に参画。 移行可否・移行方式・ツールの有効性を検証。 ・Datastage既存ジョブの構造・処理内容の確認 ・マイグレーションツールを用いたDatabricksへの変換 ・変換結果の動作検証(PySpark/SQL/Workflow等) ・DatastageとDatabricksの処理結果比較(データ品質・性能等) ・ツールで変換できない部分の手動移行検証 ・検証結果の整理(課題・改善点・移行可否判断材料の作成) ・パイロット結果を踏まえた移行方式の提案・フィードバック

必須スキル

・ETL開発の経験(Datastage等) ・Databricks(ノートブック・Workflow・Delta Lake)の利用経験 ・Spark/PySpark/SQLを用いたデータ処理経験 ・データパイプラインの設計・実装経験 ・新技術の検証やPoCに対応できる方

掲載終了1ヶ月前

【Java,OCI】基幹システム移行開発支援

800,000円〜900,000円/月
業務委託門前仲町駅
職務内容

▍環境面:リモート併用相談可! ▍インボイス未登録の方OKです! Java移行開発支援業務にて Java,OCIの経験者を募集しています! ◆想定作業◆ ・レガシー刷新向けPoC対応 ・RFP回答資料の作成支援 ・共通基盤機能の設計開発 ・ミドルウェア環境構築対応 ・開発後の各種テスト実施 ~~~~~~~~~~~~~~~~~~~~ 他お任せしたいPJは複数ありますので、 ご希望のご条件、内容をお聞かせください!

必須スキル

◎必要スキル・経験◎ ・Spring batchを用いた開発のご経験 ・Apache Sparkを用いた開発のご経験 ・WebLogic環境構築のご経験 ・JP1またはZabbix利用のご経験 ・環境構築から開発テストまで自走経験のある方 ◎尚可・歓迎◎ オンサイト作業が可能な方! _ _ ―――――――――――――――――――― ◎給与・報酬◎ 800,000円 ~ 900,000円(税込) あくまでも目安ですのでご相談下さい! _ ――――――――――――――――――――

掲載終了1ヶ月前

セキュリティ機能の開発案件

300,000円〜400,000円/月
業務委託都内
職務内容

セキュリティ機能の開発

必須スキル

・Java開発経験、Linux運用経験 ・Spring,Kubernetes,Docker,Apache spark,envoy,スクラム開発

掲載終了1ヶ月前

【運用・保守】大規模データレイクの保守・運用業務支援

〜550,000円/月
業務委託東京都
職務内容

Hadoopに関する運用業務(ユーザサポート・定常業務・メンテナンス)の支援、プロダクト保守/運用業務、利用者からの問い合わせ対応(Trino/Sparkジョブ、クラスタ自体に関する質問等)、定常的なクラスタ運用業務(定期メンテナンスや増強、利用者要望への対応など)の対応。

必須スキル

・HadoopまたはSparkの運用業務経験 ・インフラ支援業務経験 ・コミュニケーション力

掲載終了2ヶ月前

【Hadoop/Spark/フルリモート検討可】大規模データレイクの保守・運用業務支援

3,500円〜7,000円/時
業務委託フルリモート
PMOPM1
職務内容

〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓〓 【案件名】 大規模データレイクの保守・運用業務支援 【案件概要】 Hadoopを中心としたデータレイク基盤における運用・保守支援案件。 ユーザサポート、定常運用、クラスタメンテナンスなどを担当。 【業務内容】 ・Hadoopに関する運用業務(ユーザサポート、定常業務、メンテナンス) ・プロダクト保守/運用業務 ・利用者からの問い合わせ対応 (Trino/Sparkジョブ、クラスタ関連の問い合わせ対応) ・定常的なクラスタ運用業務(メンテナンス、増強、利用者要望対応) 【勤務地】 紀尾井町(フルリモ検討可能) 【勤務時間】 10:00~19:00 【勤務開始】 2026年4月2...

必須スキル

フルリモート検討可

掲載終了2ヶ月前

【プログラマー・テスター/システムエンジニア】学術系開発案件 【シニアエンジニア(40~50代以上)、業務委託】

〜550,000円/月
業務委託東京都 港区
必須スキル

Pythonの実務経験(Pythonの実装が決まった為) Sparkのクラスタ構成を構築した経験 Sparkを利用したシステム開発経験 要件や仕様など顧客折衝を行う立場でのプロジェクト参画経験

掲載終了2ヶ月前

【Python/リモート併用】新規データマートDWH構築支援(SQL,Python)

〜800,000円/月
業務委託東京都 港区
職務内容

・新規データマートの要件定義 ・ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化 ・データマート作成 ・既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のためのスクリプト・ システム開発運用改善業務 ・データマート日次運用保守業務

必須スキル

・Python(Pandas)でのデータ分析,アプリケーション開発経験 ・SQL(Windows関数やUNION,副問合せを流ちょうに扱える方) ・AWS分析基盤開発経験 (Glue,Athena,QuickSightの経験,他のAWSサービスにも詳しい方歓迎) ・要件定義経験 ・データマート分析基盤の構築,運用経験 (Spark,Prestoなどの使用経験歓迎) ・ETL処理の開発,利用経験

掲載終了2ヶ月前

【ゲームエフェクト】大手ゲーム会社_3DCGゲームエフェクトアーティスト

〜500,000円/月
業務委託東京都 渋谷区
職務内容

モバイルゲーム及びコンシューマーゲーム開発におけるエフェクト制作業務。 【想定業務】 ・ゲーム開発におけるエフェクト制作業務 ・エフェクト表現の検証、作業効率化の為のツール支援業務 ・エフェクトに関するクオリティ管理、監修業務

必須スキル

・ゲームエンジンやDCCツールを使用したエフェクト制作の実務経験 ・下記ゲームエンジン、ツールを使用したエフェクト制作経験をお持ちの方 (Unity、UnrealEngine、Houdini、Maya、SPARK GEAR など)

掲載終了2ヶ月前

【Hadoop / Spark / フル出社】大規模データレイク基盤(Hadoop/Spark)の保守・運用支援

600,000円〜800,000円/月
業務委託田町駅
職務内容

大規模データレイクの安定稼働を支える保守・運用案件です。 HadoopやApacheSparkを用いた運用に加え、 問い合わせ対応やメンテナンスに携わっていただけます。 5名のチーム体制で募集しています。

必須スキル

・HadoopまたはApacheSparkの運用業務経験がある方 ・インフラ支援業務の経験がある方 ・円滑なコミュニケーションが可能な方

掲載終了2ヶ月前

金融機関向けDWH開発業務支援

700,000円〜750,000円/月
業務委託千代田区 / 某線 某駅
職務内容

■案件名:金融機関向けDWH開発業務支援 ■期間:4月~6月(延長可能性あり) ■場所:千代田区周辺 ■作業形態:常駐 ■内容: 新データベース構築に伴う ETL 開発(Databricks・Python) 新規データ取り込みジョブの追加開発・テスト(取り込み処理は既存流用) 既存パイプラインの保守・運用 ■単価:70~75万円程度(140-180) ■面談:1回 ■人数:1名

必須スキル

■必須スキル: ・Python基本設計からの経験2年以上 ・SQL業務経験 2年以上 ・コミュニケーション能力 ■尚可スキル: ・Databricks 経験 ・Apache Spark(PySpark)経験 ・Google BigQuery 経験(簡単なクエリレベル)

掲載終了2ヶ月前

セキュリティ機能の開発案件

300,000円〜400,000円/月
業務委託都内
職務内容

セキュリティ機能の開発

必須スキル

・Java開発経験、Linux運用経験 ・Spring,Kubernetes,Docker,Apache spark,envoy,スクラム開発

掲載終了3ヶ月前

【Scala】大手広告系企業向けツール開発案件

〜1,000,000円/月
業務委託
職務内容

広告配信企業向けのデータ処理・分析基盤や自社DSPの開発、保守運用を担当していただきます。 新規機能追加や既存機能の改修が主な作業です。

必須スキル

Scala, MySQL, Apache Spark - Scalaを使用した開発経験 - 分散処理フレームワーク(Hadoop, Spark等)を用いたデータ処理の実務経験 - MySQL, OracleなどのRDBMSに対する設計- 構築- 運用経験

掲載終了3ヶ月前

【Scala】動画広告の配信ログの処理システム開発案件

〜1,000,000円/月
業務委託
職務内容

動画広告の配信ログの処理システムの開発を担当していただきます。 ログデータの集計や解析のためのバッチ処理の開発や、リアルタイムでのログの収集・解析のための開発をお任せします。

必須スキル

Scala, MySQL, Apache Spark - Scalaを使用した開発経験 - 分散処理フレームワークであるApache Sparkの使用経験

掲載終了3ヶ月前

【Scala】教育動画サービス開発案件

〜900,000円/月
業務委託
職務内容

教育分野に特化した動画配信サービスの開発を担当していただきます。 新規機能の開発や既存機能の改善、品質向上などをお任せします。

必須スキル

Scala, MySQL, Apache Spark - Scalaを使用した開発経験 - RESTful APIの設計- 実装の経験 - SQLを使用したデータベース設計- 開発の経験

掲載終了3ヶ月前

【Scala】マーケティングデータ分析基盤開発案件

〜1,000,000円/月
業務委託
職務内容

マーケティングデータ分析基盤の開発を担当していただきます。 ビッグデータ分析技術や機械学習技術を駆使し、最適な解析環境の構築を目指します。

必須スキル

Scala, MySQL, Apache Spark - Scalaを使用した開発経験 - 分散処理フレームワークの使用経験(Apache Sparkなど) - RDBMSの使用経験

掲載終了3ヶ月前

【SQL】ビッグデータ分析に伴うデータ抽出案件

〜750,000円/月
業務委託
職務内容

大量のデータを分析するため、特定の条件を満たすデータを抽出する業務を担当いただきます。 ビッグデータプラットフォーム上のデータを対象とし、適切なクエリを作成し、抽出されたデータを報告書やダッシュボード等に反映させます。

必須スキル

Python, R言語, SQL, Hadoop, Apache Spark - SQLによるデータ抽出- 加工の経験 - ビッグデータプラットフォームの基礎知識(HadoopやSparkなど) - データ分析ツールの基礎知識(PythonやRなど)

掲載終了3ヶ月前

【Hadoop/Spark/Kafka/Hive】広告プラットフォームの開発・運用(ビッグデータ処理)案件

〜1,000,000円/月
業務委託
職務内容

広告プラットフォームの開発・運用をご担当いただきます。 具体的な業務内容はデータ処理フレームワークおよびテクノロジを使用した大規模なバッチおよびリアルタイムのデータ・パイプラインの構築・保守・運用 、適切なアーキテクチャ選定、および開発・運用プロセスを推進するためのエンジニアリングチーム(または、プロジェクトチーム)のリード、実装における技術選定(アーキテクチャと開発プロセス)および本番システムの品質担保(運用・保守)です。

必須スキル

Java8 以上, Perl, Hadoop, Apache Spark, AWS, GCP - Hadoop、Spark、Kafka、Hiveを使用した開発経験 - データパイプラインの機能- 非機能要件の策定、設計、構築、並びに運用経験 - 後述言語を使用した5年以上のソフトウェア開発経験 (Java、 Python、 Go、 Bash、 Perl etc) - 5年以上のソフトウェア開発経験及び要件定義、仕様策定、実装、テスト、リリース、保守運用まで一貫した開発経験 - データベース設計とパフォーマンスチューニングの経験 - GCPを使用した開発経験がある方(その他クラウドAWSなど検討可) - 英語の読み書きができる方...

掲載終了3ヶ月前

【Python(Web開発系)】既存システムのETL処理改善プロジェクト

500,000円〜1,000,000円/月
業務委託東京都 港区 品川
職務内容

【案件概要】 大規模データ処理基盤の構築および既存システムのETL処理改善を行うプロジェクトです。 Pythonを用いたETL開発チームのリーダーとして、要件定義からテストまで幅広い工程を担当します。 SparkやKinesisなどを活用したデータ処理基盤の構築に携わります。 AWS環境での開発を前提とし、アジャイル開発手法でプロジェクトを進めます。 【作業内容】 ・ETL処理の詳細設計および設計内容の整理 ・Pythonを用いたETL処理のコーディング ・ワークフローシナリオの実装 ・単体テスト観点作成およびテストスクリプト作成、実施 ・必要に応じたシミュレーターやスタブの開発

必須スキル

・Pythonを用いた開発経験10年以上 ・DWHやETL等のビッグデータ実装への理解 ・Sparkの使用経験 ・Kinesisの使用経験 ・5名程度の開発チームのリーダー経験 ・開発フレームワーク/ツール/プロセスの選定と制定 ・マイクロサービスアーキテクチャやサーバレスアーキテクチャの実装理解 ・Pandasライブラリを用いた開発経験 ・Data Pipeline構築経験(ETL開発経験) ・AWS上でのシステム開発経験 ・Lambdaなどのサーバーレス開発経験 ・RDBを用いたシステム開発の経験 ・OSSを活用したシステム開発経験(Kafka, MySQL, MongoDB…) ・AWSのマネー...

掲載終了3ヶ月前

【Python(Web開発系)】学習支援サービス向けデータ分析基盤保守開発

500,000円〜900,000円/月
業務委託東京都 千代田区
職務内容

【業務内容】 小中学生向け学習支援サービスのデータ分析基盤において、既存システムの理解と機能把握を行いながら、保守対応や機能追加開発を実施します。クラウドサービスやSQL、Python(PySpark)、Apache Sparkを活用して安定的な分析基盤運用と開発を担当します。 【作業内容】 ・既存システムのソースコード、設計書、ドキュメントをもとにシステムの動作を理解 ・Azure Data Factoryを用いたデータパイプラインの保守・開発 ・Azure Data Lake Storageへのデータ格納、管理、処理 ・Azure Databricksを用いたデータ分析処理の開発・保守 ・SQLを用いたデータ...

必須スキル

・データ分析基盤の構築経験が豊富 ・既存システムの仕様把握・キャッチアップ能力が高い ・Azure Data Factory, Azure Data Lake Storage, Azure Databricks を利用したシステム構築および開発経験 ・SQL, Python(特にPySpark), Apache Spark を利用したシステム構築および開発経験

掲載終了3ヶ月前

【DWH / クラウド構築 / 基本リモート】超大規模ゲームにおけるデータ分析基盤開発・運用

900,000円/月
業務委託渋谷駅
職務内容

累計利用者数5,000万人を超える人気タイトルゲームを中心とした、 大規模データの分析基盤を支えるエンジニアを募集します。 BigQueryやGoogleCloudを活用したデータパイプラインの構築から、 BIツールを用いた可視化、AIエージェントの活用まで、 裁量を持って取り組める非常にやりがいのある案件です。

必須スキル

・BigQueryなどのデータウェアハウスの利用経験がある方 ・BigQueryやSpark、Hiveなどを用いて大規模データをSQLで整形できる方 ・LinuxやRDBMSなどサーバーインフラに関する基礎知識と運用経験がある方 ・AWSまたはGoogleCloudを利用したシステム構築経験がある方 ・AmazonS3またはGoogleCloudStorageの利用経験がある方 ・データレイクやデータウェアハウスの概念を理解している方 ・実務でのプログラミング経験がある方 ・生成AIの最新動向を継続的にキャッチアップしている方 ・AIエージェントを活用した開発経験をお持ちの方

掲載終了3ヶ月前

【Databricks/AWS/データエンジニア】フルリモート可 データ基盤開発

800,000円/月
業務委託東京都
職務内容

以下、概要になります ・フルリモート可能です ・Databricksを用いたデータ基盤の開発において、設計から製造・テストまで一連の工程を担当するポジション ・役割:開発メンバー ・フェーズ:要件定義~テスト ・主な業務:データ基盤の設計・開発・テスト、一部要件定義など

必須スキル

・Databricksでの開発経験 ・AWSやデータ分析関連案件の参画経験 ・Apache Spark(Java/Python)の経験、またはAmazon EMRの利用経験

掲載終了3ヶ月前

エフェクトデザイナー/SPARK GEAR・Unity/ゲーム開発

400,000円〜750,000円/月
業務委託東京都 渋谷区
職務内容

<<スマホゲームを中心に、「ゲームで世界に感動を創り出す」企業!!>> ゲーム開発におけるエフェクトデザイナー業務をお任せします。 ■□具体的には…□■ ・バトルキャラクター、モンスターのエフェクトデザイン制作 ・シナリオキャラクターのエフェクトデザインの制作 ・エフェクト演出制作 ・組み込み、実装 ・使用ツール ∟SPARK GEAR/Unity/Photoshop/Maya <こんな方におすすめです!> ・デザインスキルを活かしたい方 ・新しい技術や表現に挑戦したい方

必須スキル

・SPARK GEARを使用した実務経験 ・エフェクト制作経験 ・3Dモデル/モーション制作経験 ・Unityを使用した組み込み経験 ・制作レギュレーションの策定経験 ・勤務地まで通勤可能な方

掲載終了3ヶ月前

エフェクトデザイナー/SPARK GEAR・Unity/ゲーム開発

400,000円〜750,000円/月
業務委託東京都 渋谷区
職務内容

<<スマホゲームを中心に、「ゲームで世界に感動を創り出す」企業!!>> ゲーム開発におけるエフェクトデザイナー業務をお任せします。 ■□具体的には…□■ ・バトルキャラクター、モンスターのエフェクトデザイン制作 ・シナリオキャラクターのエフェクトデザインの制作 ・エフェクト演出制作 ・組み込み、実装 ・使用ツール ∟SPARK GEAR/Unity/Photoshop/Maya <こんな方におすすめです!> ・デザインスキルを活かしたい方 ・新しい技術や表現に挑戦したい方

必須スキル

・SPARK GEARを使用した実務経験 ・エフェクト制作経験 ・3Dモデル/モーション制作経験 ・Unityを使用した組み込み経験 ・制作レギュレーションの策定経験 ・勤務地まで通勤可能な方

掲載終了4ヶ月前

商用車ロジスティクス可視化基盤のデータ処理最適化【Apache Spark/Azure/データエンジニア/リモートOK(週1出社)】

850,000円〜1,100,000円/月
業務委託東京都
職務内容

トラック製造販売メーカーの車両輸送状況をリアルタイムで可視化する 業務用アプリのパフォーマンス改善を担当いただきます。 膨大なGPSログ解析処理の遅延解消のため、 Databricksを用いたデータ処理基盤のチューニングと改善実装を行います。

必須スキル

・Databricks(PySpark, Scala)でのコーディングとチューニング経験 ・Sparkクラスタの構造や最適化手法に関する知識 ・HadoopやSparkクラスタで数億行規模の大規模データ処理経験

掲載終了4ヶ月前

【Python/SQL/データエンジニア】フルリモート可 データ解析基盤構築

800,000円/月
業務委託東京都
職務内容

以下、概要になります ・フルリモート可能です ・Databricksを用いたデータ解析システムの構築支援 ・役割:データ基盤開発担当 ・フェーズ:設計~テスト ・主な業務:データパイプライン設計・構築、データ処理実装、テストコード作成、ドキュメント整備など

必須スキル

データエンジニア ・SQL、Python、Spark(その他Hadoop、Apache Kafka、Mesos等の分散処理基盤構築)によるデータ処理経験 ・データパイプライン構築・運用経験 ・Git等のバージョン管理システムの使用経験 ・テスティングフレームワークを用いたユニットテストの経験(テストコード作成を含む) ・要件定義、基本設計、詳細設計、テスト設計の経験 ・プロジェクト関係者とコミュニケーションが取れるレベルのドキュメント作成能力

インディバースフリーランスであなたにピッタリの
フリーランス案件が見つかる

15万件以上のフリーランス案件から一括検索

エンジニア・クリエイター・コンサルタント向けのたくさんの案件を一括検索可能です。

あなたの専門性と希望条件に最適な案件を厳選してお届け
プロフィール登録で、あなただけのカスタマイズされた案件情報を受け取れます。時間をかけずに理想の案件を見つけましょう。

インディバースフリーランスであなたにピッタリの
フリーランス案件が見つかる

15万件以上のフリーランス案件から一括検索

エンジニア・クリエイター・コンサルタント向けのたくさんの案件を一括検索可能です。

あなたの専門性と希望条件に最適な案件を厳選してお届け
プロフィール登録で、あなただけのカスタマイズされた案件情報を受け取れます。時間をかけずに理想の案件を見つけましょう。