Apache Sparkの業務委託案件・フリーランス求人一覧｜ページ5

システム開発案件

開発、運用を繰り返すイメージです。 AWS上でのデータ解析基盤の構築 画面側はPython,html,cssなどを使います。 利用するAWSサービスの候補 - Redshift,EMR(spark),Athena,RDS,EC2,VPC,CloudFormation,Lambda,StepFunction

某大手製造メーカー系会社　データ処理インフラ基盤の構築

■業務内容 製造メーカー系会社のデータ処理基盤の設計・構築 → 大量のログデータを蓄積するクラウド環境及び、製品に埋め込むクライアントの開発運用

モバイルアプリデータ解析支援

モバイルアプリの解析・マーケティングツールの提供、 アプリの企画・戦略コンサルティングを行っている企業にて 以下の作業を行う。 ・分析に必要なデータパイプラインの構築や中間データの整備 ・統計的手法や機会学習等の技術を用いて設計されたアルゴリズムやモデルの実装

【 hadoop,kafka,storm,spark】セキュリティプラットフォーム基盤構築

通信会社向けのセキュリティプラットフォーム基盤をOSSを利用して 新規構築する案件となります。各種製品ログをデータレイクに蓄積し、 リアルタイムなアラート検知、およびインタラクティブな集計／分析を 可能とするプラットフォームの構築案件です。

【Spark,Tensorflow】産学連携AIシステム開発における基盤構築

広告等の宣伝文章を自動構成するAIシステム開発が進んでおり、 日本語・英語を使用したコピーライティングに関するAIを載せる基盤の構築業務。 言語に関する大規模データの処理

【Python,SQL】ECサイト　デジタルマーケティング

上位リーダーのもとで作業頂くメンバーの方 領域：デジタルマーケティング領域 お客様：ECサイト

【Python,Spark】テキストマイニング

AIエージェントAPIの開発を行う企業にて テキストマイニング

【Python,Hadoop,Spark】大手外資系医療情報・テクロノジーサービス企業データ分析支援

業務内容：世界中から集まる製薬データの分析 メインフレームシステムのダウンサイジング

太陽光発電の遠隔モニタリングサービスの新基盤におけるデータ集計・分析基盤構築支援(フルリモート)

・ETL/ELTパイプラインの実装（AWS Glue/Pythonを用いたデータ抽出・加工・ロード） ・データモデリング、分析用データベース（Aurora/Athena等）の設計、正規化・非正規化の判断 ・大量データ処理（数千万〜数億件規模の時系列・センサーデータ）の集計最適化 ・IaC（Terraform/CDK）によるデータ基盤の構成管理、監視・アラート設計 ■募集背景 太陽光発電の遠隔モニタリングサービスの新基盤におけるデータ集計・分析基盤（データプラットフォーム STEP3-2）の構築に伴い、体制強化のためデータエンジニアを募集します。 ■その他歓迎スキル ・データレイク関連（Spark/Glue、Apache I...

【AWS/GCP/BigQuery】データ基盤構築支援（出社必須）

データ基盤構築を担っていただきます。 サービス運用、ビジネス分析、出版社支援など、多岐にわたるデータ活用ニーズに対応できる基盤を目指します。 <データレイク / ETL基盤の整備> ・AWS Glue（Apache Spark）を用いた分散処理およびETL開発 ・S3やLake Formationを活用したデータガバナンスおよびセキュリティ設計 ・AWSからGCPへのデータ連携フローの最適化 ・BigQueryでのデータモデリングおよびクエリのパフォーマンス改善 IaCによるマルチクラウド管理 ・Terraformを用いた環境差異の制御と自動化 <運用効率化と品質確保> ・Airflowなどを用いたワークフローの管理と...

【AWS/GCP/BigQuery】データ基盤構築支援（基本出社）

データ基盤構築を担っていただきます。 サービス運用、ビジネス分析、出版社支援など、多岐にわたるデータ活用ニーズに対応できる基盤を目指します。 データレイク / ETL基盤の整備 ・AWS Glue（Apache Spark）を用いた分散処理およびETL開発 ・S3やLake Formationを活用したデータガバナンスおよびセキュリティ設計 BigQueryベースのDWH環境構築 ・AWSからGCPへのデータ連携フローの最適化 ・BigQueryでのデータモデリングおよびクエリのパフォーマンス改善 IaCによるマルチクラウド管理 ・Terraformを用いた環境差異の制御と自動化 運用効率化と品質確保 ・Airflowな...

【Python】設備事業者/BIシステム改修プロジェクトの求人・案件

既存のTableau環境に対しDatabricksを追加採用し、社内外データを一元的・効率的に管理できる統合データ基盤を構築するプロジェクトになります。 現状：Tableau (BIツール) のみ導入済み。 構築対象範囲： ・Databricksデータ基盤環境の追加構築。 ・データレイク、DWH（データウェアハウス）の統合。 ・周辺のデータ準備処理およびワークフローの整備。 主要業務: データパイプラインの設計・構築

データ共通基盤の構築支援/半導体メーカーのエンジニア求人・案件 プロジェクト管理 / PM / コンサル・プロジェクト管理 / PMO / IT

・要件定義～開発までの一連の業務を担当 ・環境：Apache/SQL Server/Spark/Talend/HyperStore/Kafka/Attunity/NiFi ・クライアントの要望ヒアリングや調整業務

ゲーム機用オンラインサービスに関するビッグデータ分析基盤構築のエンジニア求人・案件 SAP / SAP(CO) / SAP(CO-PC) / IT

・家庭用ゲーム機用オンラインサービスに関するビッグデータ分析基盤の構築、サービス開発および運用 ・クラウドサービスを用いたETLアプリケーション、Web API開発 ・システム要件定義 、アーキテクチャ設計 ・Lightweight Language言語を用いた開発 ・Hadoop、Hive、Spark、ParquetなどのBigData解析技術を用いた開発 ・Linuxを用いたサーバ開発・運用 ・RDBやKVSを用いた開発 ・システムのテスト及びテストの自動化 ・アジャイル開発

【DWH/Cloud】データエンジニア｜医療・福祉業｜フルリモートのエンジニア求人・案件 プロジェクト管理 / PM / 指揮型PMO / 支援型PMO / プロジェクトサポート/秘書 / システムエンジニア・プログラマー / バックエンドエンジニア(サーバサイド) / スマホアプリ開発(ネイティブ) / フロントエンドエンジニア / 業務系エンジニア / データサイエンティスト / コンサル・プロジェクト管理 / PM (プロジェクトマネージャー) / PMO / インフラ・ネットワークエンジニア / DBA (データベース)管理者 / HTMLコーダー / IT / CRM/SFA/BI / AI / IoT / マーケティング / デジタルマーケティング / データサイエンティスト/アナリスト

全社のデータを統合し、社内のデータ利活用を促進するデータ基盤チームのデータエンジニアとして、ログ収集、ETL処理、DWH構築などのデータ基盤構築の責務を担っていただきます。 ■募集背景 今夏に薬局向け、医療系ユーザ向に新プロダクトがリリースされ、複数のサービスからデータを取得できるようになりました。今後、それぞれのデータを統合した新規機能開発やカスタマーサクセスにおけるデータ利活用を行うにあたり、全社横断的にデータを統合する必要性が高まってきたためデータエンジニアを募集 ■具体的な業務 分析要件に必要なテーブル、ログの定義設計 AWS Glue Job(Spark) を利用したETL処理の設計開発 Airf...

データ共通基盤の構築支援/半導体メーカー

・要件定義～開発までの一連の業務を担当 ・環境：Apache/SQL Server/Spark/Talend/HyperStore/Kafka/Attunity/NiFi ・クライアントの要望ヒアリングや調整業務

【DWH/Cloud】データエンジニア｜医療・福祉業｜フルリモート

全社のデータを統合し、社内のデータ利活用を促進するデータ基盤チームのデータエンジニアとして、ログ収集、ETL処理、DWH構築などのデータ基盤構築の責務を担っていただきます。 ■募集背景 今夏に薬局向け、医療系ユーザ向に新プロダクトがリリースされ、複数のサービスからデータを取得できるようになりました。今後、それぞれのデータを統合した新規機能開発やカスタマーサクセスにおけるデータ利活用を行うにあたり、全社横断的にデータを統合する必要性が高まってきたためデータエンジニアを募集 ■具体的な業務 分析要件に必要なテーブル、ログの定義設計 AWS Glue Job(Spark) を利用したETL処理の設計開発 Airf...

【SRE/常駐/週5日】　メガバンク向けAMLパッケージカスタマイズ開発案件

海外ベンダーの日本進出に伴い、ベンダーの日系パートナーの位置づけで参画いただきます。 他の日系金融機関にも導入が決まっており、今後拡大が見込まれ、 当案件参画を皮切りに当ベンダーのスペシャリストを育成したいと考えております。 入場は6,7月(開始時期の前倒し応相談)を想定しておりますが、参画前に2か月程英語のオンライン研修を受講いただきます。 海外ベンダーのパッケージの導入の為ビジネスレベルの方が好ましいですが、 実作業の英語頻度はそこまで高くない為、TOEICで一定のスコアを持っている方・日常英会話レベルの方でも検討可能です。 （現場PM・メンバーは日本人となっております） 案件担当のコメント 【作業場所】 ・東京駅近辺...

【Python/基本リモート/週5日】通信事業者向けゼロタッチオペレーション開発支援

データ蓄積基盤の開発 下記いずれかに該当する方を求めています。 ・Java/Scala/Pythonの開発経験 ・Scala/Sparkジョブ or AWS Kinesisによるストリーミング処理開発経験 ・OSS(Kafka,Spark,Haddp,Flink)などを利用したストリーミング処理開発経験 ・Pandasライブライを用いた開発経験 ・DataPipeline構築経験(ETL開発経験) ・AWS上でのシステム開発経験3年以上 ・Lambda、Glue Streaming job、DynamoDB、Redshift、RDSなどのマネージドサービス利用 ・ServerlessFrameworkやCloudFormat...

【Python/SQL】大手金融機関様向けDatabricks開発支援(データエンジニアリング領域)の求人・案件

Databricks環境におけるバッチの設計、開発、テストをご担当いただきます。

【開発エンジニア】大手金融機関様向けDatabricks開発の求人・案件

大手金融機関向けに、Databricksを使用した開発を担当していただきます。 データエンジニアリング領域での業務です。

【Python/SQL】コマーステクノロジ領域のデータ関連支援(リモート併用可)

・課題の特定からアドホック分析、モデル構築、モデルデプロイメントまでの一連のデータサイエンスワークフローの遂行 ・当該企業が保有する多様なデータまたは外部データを活用した、顧客行動の分析インサイトの導出 ・ビジネス課題を解決するためのSQLやSparkなどを活用した大規模データの処理、適切な予測モデルやアルゴリズムの選択・実装、革新的なソリューションの提案 ・汎用的なデータサイエンスプロダクトの開発 ・データサイエンティスト、コンサルタント、プロジェクトマネージャー、データ戦略家との協働 ・スキルやナレッジを共有・学習する文化の創出 ・Spark、Hive、Kafka、Spark-Streaming、Hadoop、Google...

【Python /一部リモート/週5日】フロー管理システムの開発・保守作業

フロー管理システムの開発・保守作業

【開発エンジニア】MW/SWのバージョンアップに伴うJAVA開発の求人・案件

【概要】 ・車両の走行データなどを専用車載器から収集し、それをWeb上で運転者・管理者が把握できるシステムのMW/SWのバージョンアップ対応 【作業内容】 ・プログラム修正（BeanMapping ライブラリDozerからMapStructに変更） ・単体テスト（画面打鍵及びJUNITテスト） 【環境】 ・OS：Red Hat Enterprise Linux ・Webサーバ：Apache HTTP Server ・APサーバ：Apache Tomcat ・F/W：TERASOLUNA ・DB：PostgreSQL ・開発言語 ：Java(JDK17)

【原則フルリモート・データ基盤の設計/構築・Python】 自社プロダクトにおけるデータエンジニア

・データエンジニアとして、現在構築を進めている新データ基盤への移行を進めるための開発作業をお任せします。 ■工程・担当業務 ・Databricks 上に構築された社内向けの新データ基盤の開発・運用 ・AWS 上に構築された旧データ基盤の運用 ・社内各所の要求に応じた dbt によるデータモデリング ■募集人数 ・１名 ■開発環境 クラウドサービス：AWS (S3, Athena, Glue, MWAA, Kinesis, Lambda, etc.) データ基盤：Databricks, Redash, etc. データモデリング：dbt プロビジョニング：Terraform 開発ツール：GitHub, Slack, JIRA

【Java／JavaScript／HTML】【SE】会計パッケージ開発・保守の求人・案件

会計パッケージ開発・保守業務にご参画していただきます。\n\n工程：基本設計～結合テスト・保守\n\n環境：\n・フロント：HTML、Javascript、Angular\n・サーバー：Java8、Spring Boot、Elasticsearch、\nAWS EMR、Apache Spark\n・ＤＢ：AWS Aurora、AWS DynamoDB、Apache Cassandra\n・インフラ：AWS EC2、S3、EBS、ElastiCache\n・CI／CD：AWS EKS\n\n最寄り駅：麹町駅

【Java/JavaScript】物流会社向け会計パッケージの開発・保守の求人・案件

物流会社向け会計パッケージの開発・保守 工程：基本設計～結合テスト・保守 ★環境 フロント：Javascript, Angular, HTML サーバー：Java8, Spring Boot, Elasticsearch, Apache Spark Ｄ　　Ｂ：AWS Aurora, AWS DynamoDB, Apache Cassandra インフラ：AWS EC2, S3, EBS, ElastiCache

マーケティングプラットフォームの開発！サーバーサイドエンジニア募集

主力Webサービスの機能改修、機能追加をメインで取り組んでいただきます。 【具体的には】 ・広告効果測定、サイト導線等を分析するためのレポートエンジン保守開発 ・プロモーションメール配信やマーケティングオートメーション機能の保守開発 ・Spark／Scala／Mahout／TensorFlowを使った、商品レコメンド機能の保守開発 クライアント等によってプロダクトの開発担当領域が変化するため、柔軟に上流工程からの開発に対応いただく可能性もございます。 【開発環境】 * サーバ：Ruby on Rails + Grape + rspec / Elixir / Java / Scala * フロント：JavaScript...

【React/Ruby on Rails】ソリューションプロジェクトのフロントエンド開発支援

【関わるサービス】 データ統合自動化SaaSサービスに関わる新規プロジェクト（CRMアプリ開発）。 【業務内容】 CRMの顧客情報画面（顧客の属性情報、対応履歴などの画面）の改修及び新機能追加開発。 Reactによるフロント側の開発、及びRuby on RailsでのAPIの繋ぎ込み。 ※既にプロト版は完成しており、顧客の要望により適宜追加開発が必要となってくるフェーズ 【外部人材活用理由】 事業拡大による増員 【開発環境/言語/フレームワーク】 ＜言語＞ Ruby, Go, Python, JavaScript/TypeScript ＜フレームワーク＞ Ruby on Rails, PySpark, React ＜...

女性向けヘルスケアアプリの開発業務／データエンジニア

自社サービスである女性向けヘルスケアアプリの開発業務において、データエンジニアとしてデータ分析基盤の関連業務を担当していただきます。 具体的には下記の業務を想定しております。 * データベース設計 * ファクトテーブル、ディメンションテーブルの選定や？多次元モデルのクエリ実装などデータの処理・保存・整理を実施 * スタースキーマ等 各種スキーマの実装と正規化を実施 * マテリアライズドビューの実装 * DMSやS3レプリケーションを使用したデータ連携 * クラウドエンジニアとともに各種サービスからDWHへのデータ連携 * PythonやBashを使用したETL処理 * 関数、単体テスト、オブジェクト指向プログラミング、AW...

AIエンジニア育成支援

【依頼したいこと】 機械学習モデルの構築、活用に向けたエンジニア教育 【募集背景】 ビックデータを活用しながら、1000万ダウンロードに迫っている自社アプリの人流データを活かして新規事業を開発中です。 その中で自動応答など機械学習の導入を予定しております。 データ基盤がありエンジニアも在籍していますが、AI機械学習に詳しい方が不在のため、機械学習の教育をしていただける方を募集しています。 【開発環境】 クラウド：AWS、収集：Kinesis 保管：S3、加工：Glue(Spark)、分析：Athena、Sagemaker 機械学習：Amazon Sagemaker 地図情報：RDS(PostgreSQL/PostGIS)、...

Go／SaaSアプリケーション開発案件・求人

kubernetes 上に構築したアプリケーションの開発や運用業務に携わっていただきます。 ・アプリケーション開発 ・データ系アプリケーションのワークフロー開発 ・運用改善

Go／BtoB向けコミュニケーションツール基盤開発案件・求人

消費者のオフライン行動(位置情報やセンサー情報)とオンライン行動(web閲覧や購買)情報を活用した 高度な1to1コミュニケーションの実現を目指しています。 このサービスでは、サイトの閲覧ログや会員属性、Beaconログ、位置情報などを基に、 オウンドメディア横断で顧客に最適なタイミング、チャネル、内容でコミュニケーションを可能とする 統合配信基盤としての役割を担います。 ECサイト内のレコメンド枠や小売店のポイントアプリのPUSH通知、 企業のオウンドメディアのバナー枠など、多岐に渡る配信先を想定しています。 ※顧客データの接続など個別のカスタマイズをしつつご提供をしていきます。 今回は上記サービスにおけるバ...

【Python】Webクローラー開発の求人・案件

某大手通信事業者様の生成AI基盤開発支援を行っている中でサイトクローラーの開発業務を行える方を募集しております。

Ruby／ECカートシステム関連アプリケーション開発案件・求人

ECカートシステムと関連する周辺アプリケーションの開発 ※フルリモート可

Ruby／検索事業領域の開発案件・求人

国内大手ECサイトを中心に導入いただいている検索ソリューションの開発を担当していただきます。 多くのECサイトにとって、検索機能はユーザーの購買行動の主軸のひとつであり、購買体験に大きく作用します。 入力されたキーワードの意図を理解した上で、適切な商品を選び出し、エンドユーザーが求めている順番に並べる必要があります。 意図や並び順という絶対的な正解がない世界で、ログを分析し、仮説検証を繰り返しながら サイトやそのユーザーに適切な商品を提示していくことで、ECサイトの購買体験を向上させ、 売上に寄与する手応えが得られます。 経験豊富な検索エンジニアチームがチューニングした検索エンジンをベースに、 お客様に合わせた検...

Go／SaaS開発案件・求人

・kubernetes 上に構築したアプリケーションの開発や運用業務に携わっていただきます。 ・アプリケーション開発 ・データ系アプリケーションのワークフロー開発 ・運用改善

【Java/AWS/SQL】ビッグデータの求人・案件

製造～テストをご担当いただきます（設計もお任せする可能性あり）

Go／ECサイトSaaS開発案件・求人

■案件概要： ・kubernetes 上に構築したアプリケーションの開発や運用業務に携わっていただきます。 ・アプリケーション開発 ・データ系アプリケーションのワークフロー開発 ・運用改善 ※フルリモート可

【リモート相談可能】AI SaaSのデータエンジニア

案件概要：AI SaaSのデータエンジニア 業務内容： データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境： コード管理 : Git(GitHub) 言語：Python OS：Linux データスタック: Fivetran,dbt,snowf...