Apache Sparkの業務委託案件・フリーランス求人一覧｜ページ6

マーケティングプラットフォームの開発！サーバーサイドエンジニア募集

主力Webサービスの機能改修、機能追加をメインで取り組んでいただきます。 【具体的には】 ・広告効果測定、サイト導線等を分析するためのレポートエンジン保守開発 ・プロモーションメール配信やマーケティングオートメーション機能の保守開発 ・Spark／Scala／Mahout／TensorFlowを使った、商品レコメンド機能の保守開発 クライアント等によってプロダクトの開発担当領域が変化するため、柔軟に上流工程からの開発に対応いただく可能性もございます。 【開発環境】 * サーバ：Ruby on Rails + Grape + rspec / Elixir / Java / Scala * フロント：JavaScript...

【React/Ruby on Rails】ソリューションプロジェクトのフロントエンド開発支援

【関わるサービス】 データ統合自動化SaaSサービスに関わる新規プロジェクト（CRMアプリ開発）。 【業務内容】 CRMの顧客情報画面（顧客の属性情報、対応履歴などの画面）の改修及び新機能追加開発。 Reactによるフロント側の開発、及びRuby on RailsでのAPIの繋ぎ込み。 ※既にプロト版は完成しており、顧客の要望により適宜追加開発が必要となってくるフェーズ 【外部人材活用理由】 事業拡大による増員 【開発環境/言語/フレームワーク】 ＜言語＞ Ruby, Go, Python, JavaScript/TypeScript ＜フレームワーク＞ Ruby on Rails, PySpark, React ＜...

女性向けヘルスケアアプリの開発業務／データエンジニア

自社サービスである女性向けヘルスケアアプリの開発業務において、データエンジニアとしてデータ分析基盤の関連業務を担当していただきます。 具体的には下記の業務を想定しております。 * データベース設計 * ファクトテーブル、ディメンションテーブルの選定や？多次元モデルのクエリ実装などデータの処理・保存・整理を実施 * スタースキーマ等 各種スキーマの実装と正規化を実施 * マテリアライズドビューの実装 * DMSやS3レプリケーションを使用したデータ連携 * クラウドエンジニアとともに各種サービスからDWHへのデータ連携 * PythonやBashを使用したETL処理 * 関数、単体テスト、オブジェクト指向プログラミング、AW...

AIエンジニア育成支援

【依頼したいこと】 機械学習モデルの構築、活用に向けたエンジニア教育 【募集背景】 ビックデータを活用しながら、1000万ダウンロードに迫っている自社アプリの人流データを活かして新規事業を開発中です。 その中で自動応答など機械学習の導入を予定しております。 データ基盤がありエンジニアも在籍していますが、AI機械学習に詳しい方が不在のため、機械学習の教育をしていただける方を募集しています。 【開発環境】 クラウド：AWS、収集：Kinesis 保管：S3、加工：Glue(Spark)、分析：Athena、Sagemaker 機械学習：Amazon Sagemaker 地図情報：RDS(PostgreSQL/PostGIS)、...

Go／SaaSアプリケーション開発案件・求人

kubernetes 上に構築したアプリケーションの開発や運用業務に携わっていただきます。 ・アプリケーション開発 ・データ系アプリケーションのワークフロー開発 ・運用改善

Go／BtoB向けコミュニケーションツール基盤開発案件・求人

消費者のオフライン行動(位置情報やセンサー情報)とオンライン行動(web閲覧や購買)情報を活用した 高度な1to1コミュニケーションの実現を目指しています。 このサービスでは、サイトの閲覧ログや会員属性、Beaconログ、位置情報などを基に、 オウンドメディア横断で顧客に最適なタイミング、チャネル、内容でコミュニケーションを可能とする 統合配信基盤としての役割を担います。 ECサイト内のレコメンド枠や小売店のポイントアプリのPUSH通知、 企業のオウンドメディアのバナー枠など、多岐に渡る配信先を想定しています。 ※顧客データの接続など個別のカスタマイズをしつつご提供をしていきます。 今回は上記サービスにおけるバ...

【Python】Webクローラー開発の求人・案件

某大手通信事業者様の生成AI基盤開発支援を行っている中でサイトクローラーの開発業務を行える方を募集しております。

Ruby／ECカートシステム関連アプリケーション開発案件・求人

ECカートシステムと関連する周辺アプリケーションの開発 ※フルリモート可

Ruby／検索事業領域の開発案件・求人

国内大手ECサイトを中心に導入いただいている検索ソリューションの開発を担当していただきます。 多くのECサイトにとって、検索機能はユーザーの購買行動の主軸のひとつであり、購買体験に大きく作用します。 入力されたキーワードの意図を理解した上で、適切な商品を選び出し、エンドユーザーが求めている順番に並べる必要があります。 意図や並び順という絶対的な正解がない世界で、ログを分析し、仮説検証を繰り返しながら サイトやそのユーザーに適切な商品を提示していくことで、ECサイトの購買体験を向上させ、 売上に寄与する手応えが得られます。 経験豊富な検索エンジニアチームがチューニングした検索エンジンをベースに、 お客様に合わせた検...

Go／SaaS開発案件・求人

・kubernetes 上に構築したアプリケーションの開発や運用業務に携わっていただきます。 ・アプリケーション開発 ・データ系アプリケーションのワークフロー開発 ・運用改善

【Java/AWS/SQL】ビッグデータの求人・案件

製造～テストをご担当いただきます（設計もお任せする可能性あり）

Go／ECサイトSaaS開発案件・求人

■案件概要： ・kubernetes 上に構築したアプリケーションの開発や運用業務に携わっていただきます。 ・アプリケーション開発 ・データ系アプリケーションのワークフロー開発 ・運用改善 ※フルリモート可

【リモート相談可能】AI SaaSのデータエンジニア

案件概要：AI SaaSのデータエンジニア 業務内容： データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境： コード管理 : Git(GitHub) 言語：Python OS：Linux データスタック: Fivetran,dbt,snowf...

TypeScript／クラウドサービス、Webアプリケーション開発案件・求人

既存サービス（電帳対応、インボイス関連等）に関するプロトタイピング及びフロントエンド及びバックエンド開発。 バックエンド、フロントエンド両面でのフルスタックに活躍いただく案件になります。 ※フルリモート可

【リモート相談可能】AI SaaSのデータエンジニア

案件概要：AI SaaSのデータエンジニア 業務内容： データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境： コード管理 : Git(GitHub) 言語：Python OS：Linux データスタック: Fivetran,dbt,snowf...

【AIエンジニア】カード会社の不正検知学習モデル構築の設計・実装の求人・案件

【主な支援内容】 機械学習モデル、推論機能の設計・実装を行うチームの一人として業務 ・機械学習モデル、推論機能の設計・実装 ・設計、実装はAzure Databricks上で行う

【DWH/ETLなど】内製開発：ETLチームの求人・案件

・SEからのインプットを基に詳細設計 ・ETLコーディング ・ワークフローシナリオ実装 ・UT観点項目作成 ・UTスクリプト作成 ・UT実施 ・必要に応じてシミュレーター/スタブ開発

自動車会社向けデータ転送処理マイグレーション（Java） - フリーエンジニア IT 案件 求人【エンジニアルーム】ITフリーランス ITエンジニア IT個人事業主 仕事 転職 募集

【自動車会社向けデータ転送処理マイグレーション】＊ AWS Lambda+Javaで実装されたデータの転送処理APPをDatabricks(ApacheSpark基盤)上で動くようにマイグレーションする。 ■環境 Java/AWS(Lambda)/Apache Spark Databricks/Delta Lake/Snowflake

【リモート併用】製造業様向けAzure Databricks開発案件（CXプロジェクトの一環としてデータマネージメントシステム）

■概要 製造業様向けAzure Databricks開発案件（CXプロジェクトの一環としてデータマネージメントシステム） ■主な担当業務 Bronzeにあるデータを変換して次のSilver Layerに持っていく。（Bronze⇒Silver⇒Gold） Gold　LayerのデータをMLなどに活用、BIで分析（別チームが動いている） - 要件分析とソリューションアーキテクチャ設計及び仕様の作成 - データモデリングとデータアーキテクチャ設計 - ETL、データ統合、およびデータ移行の設計 ■働き方 リモート併用

【Azure/DWH/ETL】障害調査、問合せ対応

■概要 Azure Databricks DWHおよび周辺ETLの障害調査、問合せ対応。 日次・月次・年次・任意で連携されるIFファイル（csv, txtなど）を、Azure Data FactoryおよびDatabricks Notebook（Pyspark、SQL）にてDataフォーマット連携・加工処理を実施。 他のプログラムとして、旧DWHで実行されているPL/SQLを変換したストアドがSQL Databaseで実行される。 データの実態はData LakeにParquetファイルで保管されユーザーにUnityCatalogで提供される。

Python／ビックデータの分析およびDB構築案件・求人

某不動産情報サービス企業様が蓄積している大量データの分析、およびDB構築に関わるデータ調査、分析、データクレンジング、名寄せ処理が主な作業となります。 データ分析以外にも希望があればAWSのマネージドサービス（Glue、Lambda、MWAA等）を用いたデータレイク構築作業にも携わっていただくことが可能です。

【AWS】AWSおよびBIによるデータ活用（構築・アプリ・フルスタック）

■内容：スクラムのメンバーとして、基盤構築/アプリ開発を実施頂きます。（設計、開発、テスト、リリース） ■期間：7月～（8月～でもok）※基本長期となる予定 ■その他 テレワーク：対応可 顧客事務所（品川等）での対応：有　※フルリモート希望の場合は別途ご相談ください 稼働率は基本100％の想定

【SQL／Python】【SE】製品利用ログ分析基盤の開発・運用の求人・案件

製品利用ログ分析基盤の開発・運用業務に携わっていただきます。\n\n主に下記作業をご担当いただきます。\n・クラウド(AWS)を使用した製品利用ログ分析基盤の開発・運用\n・Redshift (PostgreSQL)上のDBテーブル設計、クエリ開発\n・AWS EMRを使用したETL, データ前処理 (Python, Spark)\n\n作業場所：みなとみらい線沿線

【 AWS/Python/品川/リモート併用】データ分析システム開発・運用作業

某S社グループ内のデータ利活用を目的としたビッグデータの加工・集計業務（主にAWSを利用しての開発） スクラムのメンバーとして、基盤構築/アプリ開発を実施頂きます。（設計、開発、テスト、リリース）

【Linux】アプリケーション、ミドルウェアのパフォーマンス改善業務案件

・高速なレスポンスを実現するためのアプリケーション、ミドルウェアのパフォーマンス改善 ・プロダクト開発と連携したミドルウェア検証・導入 ・各種基盤の監視体制の整備・強化 【開発環境】 Google Cloud Platform 、BigQuery 、StackDriver 、Kubernetes 、Spinnaker 、Docker 、Go 、Linux:CentOS、Ubuntu 、MySQL 、Redis 、Aerospike 、Fluentd 、Apache Spark 、Hadoop(Dataproc) 、Digdag 、DataDog 、 New Relic、Terraform 、Packer Ansible...

【Python/機械学習】データエンジニア募集

■概要 データエンジニアとして、データサイエンティストやエンジニアと協力しながら、 データ基盤を構築・改善し課題解決を行っていただきます。 データ処理/管理/収集、Webクローリングやスクレイピングなどデータ活用周りを幅広くご支援いただきます。

システム運用エンジニア案件

1. AWSのデータレイク(S3+Glue data catalog)からBigqueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) [開発環境] ・言語 Python, Hive, Spark ・AWS EMR, Glue, Athena, Lambda, APIGateway ・GCP BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows ・CI,CD,その他 Terraform, CircleCI, GithubActions, digdag, embulk [担当工数] 1.開発/保守改修 2.基...

データ基盤整備案件

1. AWSのデータレイク(S3+Glue data catalog)からBigqueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) [業務環境] メンバー：3名（TL1名、エンジニア2名） ※部全体：50名弱 [開発環境] ・言語 Python, Hive, Spark ・AWS EMR, Glue, Athena, Lambda, APIGateway ・GCP BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows ・CI,CD,その他 Terraform, CircleCI, GithubActio...

ビッグデータ関連におけるシステム開発エンジニア募集案件

大規模データを処理するためのクラウドインフラ・アプリケーションソフトの構築から、 オーディエンスデータとの紐づけやデータ配信を行うソフトウェア開発までを一貫で担っているチームに所属し、 ビッグデータ関連システムの構築、開発、保守を行い、データの加工(ETL)等をご担当いただきます。 インフラエンジニアやアプリケーションエンジニアといった垣根なく、ご活躍いただくお仕事になります

エンド直/フルリモート【Python/SQL】データ基盤構築案件

在庫管理システムを支えるデータ基盤の構築案件となります。 主に、機能改善及び機能追加をご担当頂き、 大量データの加工をSQLやPythonを用いて作成し、 集計後、データストアに投入する機構の構築に携わっていただきます。

エンド直/フルリモート【Python/SQL】データ基盤構築案件

在庫管理システムを支えるデータ基盤の構築案件となります。 主に、機能改善及び機能追加をご担当頂き、 大量データの加工をSQLやPythonを用いて作成し、 集計後、データストアに投入する機構の構築に携わっていただきます。

Python/バッチ開発・運用案件

自社独自のデータ集積のプラットフォームを持つ運営する企業にて 主に様々な種類のDBのバッチ開発・改修・運用業務をお願い致します。 ・Pythonを使ったバッチ開発/改修/運用 ・データインサート …etc. 【環境】　　：言語：Python インフラ： Google Cloud Platform データベース： PostgreSQL DWH：BigQuery ワークフロー： Google Cloud Composer (Apache Airflow) その他ミドルウェア： Dataflow(Apache Beam), Dataproc(Apach Spar...

【基本リモート】データ基盤構築支援

データエンジニア。 データサイエンティストやエンジニアと協力しながら、データ基盤を構築・改善し課題解決を行う。 データ処理/管理/収集、Webクローリングやスクレイピングなどデータ活用、他 期　間　：6月1日～

【Python】新規/既存セキュリティサービス開発案件

新規セキュリティサービスの開発や既存セキュリティサービスの保守開発。 新しい技術を積極的に使ってシステム開発を実施。

【Python】新規/既存セキュリティサービス開発案件

新規セキュリティサービスの開発や既存セキュリティサービスの保守開発。 新しい技術を積極的に使ってシステム開発を実施。

【Java】サーバサイドエンジニア案件

日本No1.のコスメ・美容の総合サイトおよび関連サービス全ての 基盤部分の開発・運用を担当をしていただきます。 ■業務内容： ・ポイント関連 ・会員に関する情報管理 ・認証基盤 ・各種検索機能 ・弊社内だけではなくBtoBのサービスとして社外へも提供している様々なAPIの開発及び運用 ※能力に応じて、企画やデザインから検討会議に参加していただくことが可能です。 ■開発環境 ・言語：Java、PHP、(Ruby) ・PHPフレームワーク：Laravel、CakePHP ・JavaScriptフレームワーク：Vue.js ・Javaフレームワーク：Spring boot ・データベース：MySQL、Microsoft SQL ...

【Python/Java/Scalaなど】ディープラーニングエンジニア案件

R&D部門にて、各種サービスの基盤開発や速度改善、ターゲティングやビッグデータを利用した開発、それらを支えるインフラストラクチャ再構築とデータ構造の再構築などを主に担当しています。 技術開発グループ、技術戦略グループは、ともに、速度改善やサービス基盤開発を行いながら、ビッグデータを活用した分析処理や、ストリーミング処理など先進的な技術を用いながら試行錯誤を繰り返しながら機能開発をメインに行っており、 インフラストラクチャグループはスケールしやすく、耐障害性、可用性の向上のための施策、保守・運用を行なうグループです。 ■業務内容： 技術研究とそれらを用いた開発を行う部署にて、様々なデータを扱い、新たなサービス開発と改善 また...

【PHP/Hack/Java/Goなど】急成長中企業のアプリケーションエンジニア案件

ECや実店舗も持ち、幅広くBeautyに関するビジネスを展開している 急成長中の企業にて各種サイトの開発に携わっていただきます。 ■業務内容事例： ・クチコミサイトの開発 ・ブログサイトの開発 ・Q&Aサイトの開発 ・ポイントサイトの開発 ・ECサイトの開発 ・サロン予約サイトの開発 ・新規事業の開発 ・上記開発を支えるAPI開発　など （経験・適性に応じて上記開発案件の配属チーム、アサイン業務を決定いたします） ■開発環境： ・言語：PHP、Hack、JavaScript(ES6、TypeScriptなど)、Java、Go、Scala ・PHPフレームワーク：Laravel(5)、CakePHP(2、3)、Zend Fr...

【PHP/Ruby/Java/Goなど】急成長中企業のアプリケーションエンジニア案件（BtoB向け）

ECや実店舗も持ち、幅広くBeautyに関するビジネスを展開している 急成長中の企業にて各種サイトの開発に携わっていただきます。 経験・適性に応じて配属チーム、アサイン業務を決定いたします ■ 業務内容事例 ・サービスの開発・保守・運用 機能開発はエンジニアだけでなく、他部署のプランナーやデザイナーとMTGを行い進めていく場合があります。 ・他サービスへの機能提供API開発 ・オンプレ環境からクラウド環境への移行作業 ・サービスの仮想化 ・定例MTGの実施 朝会、夕会、週次定例、コードレビュー会などを必要に応じ、適時実施しています。 ■開発環境： ・言語：PHP、Go、Ruby、Java ・PHPフレームワーク：Lar...

【PM/PMO】急成長中企業のエンジニアリングマネージャー案件

下記いずれかの部門のマネージャー業務をお願いいたします。 ①ソリューション開発部 ②メディア開発統括部 ③システムアーキテクチャ部 ■業務内容： ・開発チームのチーム編成や、プロジェクトにおけるチーム管理 ・プレイヤーとしての開発業務 ・エンジニアの目標設定・評価・育成 ・プロジェクトマネジメント、技術面以外も含めた問題解決、組織的改善 ・他部署との調整、コミュニケーションづくり ・人材採用 ・率先した継続的なアプリケーション改善 ※技術選定やアプリケーション設計などにも参加いただくこともございます。 ■開発環境： ・言語：PHP、Hack、JavaScript(ES6、TypeScriptなど)、Java、Go、Scal...