Apache Sparkの業務委託案件・フリーランス求人一覧｜ページ7

【リモート併用】製造業様向けAzure Databricks開発案件（CXプロジェクトの一環としてデータマネージメントシステム）

■概要 製造業様向けAzure Databricks開発案件（CXプロジェクトの一環としてデータマネージメントシステム） ■主な担当業務 Bronzeにあるデータを変換して次のSilver Layerに持っていく。（Bronze⇒Silver⇒Gold） Gold　LayerのデータをMLなどに活用、BIで分析（別チームが動いている） - 要件分析とソリューションアーキテクチャ設計及び仕様の作成 - データモデリングとデータアーキテクチャ設計 - ETL、データ統合、およびデータ移行の設計 ■働き方 リモート併用

【Azure/DWH/ETL】障害調査、問合せ対応

■概要 Azure Databricks DWHおよび周辺ETLの障害調査、問合せ対応。 日次・月次・年次・任意で連携されるIFファイル（csv, txtなど）を、Azure Data FactoryおよびDatabricks Notebook（Pyspark、SQL）にてDataフォーマット連携・加工処理を実施。 他のプログラムとして、旧DWHで実行されているPL/SQLを変換したストアドがSQL Databaseで実行される。 データの実態はData LakeにParquetファイルで保管されユーザーにUnityCatalogで提供される。

Python／ビックデータの分析およびDB構築案件・求人

某不動産情報サービス企業様が蓄積している大量データの分析、およびDB構築に関わるデータ調査、分析、データクレンジング、名寄せ処理が主な作業となります。 データ分析以外にも希望があればAWSのマネージドサービス（Glue、Lambda、MWAA等）を用いたデータレイク構築作業にも携わっていただくことが可能です。

【AWS】AWSおよびBIによるデータ活用（構築・アプリ・フルスタック）

■内容：スクラムのメンバーとして、基盤構築/アプリ開発を実施頂きます。（設計、開発、テスト、リリース） ■期間：7月～（8月～でもok）※基本長期となる予定 ■その他 テレワーク：対応可 顧客事務所（品川等）での対応：有　※フルリモート希望の場合は別途ご相談ください 稼働率は基本100％の想定

【SQL／Python】【SE】製品利用ログ分析基盤の開発・運用の求人・案件

製品利用ログ分析基盤の開発・運用業務に携わっていただきます。\n\n主に下記作業をご担当いただきます。\n・クラウド(AWS)を使用した製品利用ログ分析基盤の開発・運用\n・Redshift (PostgreSQL)上のDBテーブル設計、クエリ開発\n・AWS EMRを使用したETL, データ前処理 (Python, Spark)\n\n作業場所：みなとみらい線沿線

【 AWS/Python/品川/リモート併用】データ分析システム開発・運用作業

某S社グループ内のデータ利活用を目的としたビッグデータの加工・集計業務（主にAWSを利用しての開発） スクラムのメンバーとして、基盤構築/アプリ開発を実施頂きます。（設計、開発、テスト、リリース）

【Linux】アプリケーション、ミドルウェアのパフォーマンス改善業務案件

・高速なレスポンスを実現するためのアプリケーション、ミドルウェアのパフォーマンス改善 ・プロダクト開発と連携したミドルウェア検証・導入 ・各種基盤の監視体制の整備・強化 【開発環境】 Google Cloud Platform 、BigQuery 、StackDriver 、Kubernetes 、Spinnaker 、Docker 、Go 、Linux:CentOS、Ubuntu 、MySQL 、Redis 、Aerospike 、Fluentd 、Apache Spark 、Hadoop(Dataproc) 、Digdag 、DataDog 、 New Relic、Terraform 、Packer Ansible...

【Python/機械学習】データエンジニア募集

■概要 データエンジニアとして、データサイエンティストやエンジニアと協力しながら、 データ基盤を構築・改善し課題解決を行っていただきます。 データ処理/管理/収集、Webクローリングやスクレイピングなどデータ活用周りを幅広くご支援いただきます。

システム運用エンジニア案件

1. AWSのデータレイク(S3+Glue data catalog)からBigqueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) [開発環境] ・言語 Python, Hive, Spark ・AWS EMR, Glue, Athena, Lambda, APIGateway ・GCP BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows ・CI,CD,その他 Terraform, CircleCI, GithubActions, digdag, embulk [担当工数] 1.開発/保守改修 2.基...

データ基盤整備案件

1. AWSのデータレイク(S3+Glue data catalog)からBigqueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) [業務環境] メンバー：3名（TL1名、エンジニア2名） ※部全体：50名弱 [開発環境] ・言語 Python, Hive, Spark ・AWS EMR, Glue, Athena, Lambda, APIGateway ・GCP BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows ・CI,CD,その他 Terraform, CircleCI, GithubActio...

ビッグデータ関連におけるシステム開発エンジニア募集案件

大規模データを処理するためのクラウドインフラ・アプリケーションソフトの構築から、 オーディエンスデータとの紐づけやデータ配信を行うソフトウェア開発までを一貫で担っているチームに所属し、 ビッグデータ関連システムの構築、開発、保守を行い、データの加工(ETL)等をご担当いただきます。 インフラエンジニアやアプリケーションエンジニアといった垣根なく、ご活躍いただくお仕事になります

エンド直/フルリモート【Python/SQL】データ基盤構築案件

在庫管理システムを支えるデータ基盤の構築案件となります。 主に、機能改善及び機能追加をご担当頂き、 大量データの加工をSQLやPythonを用いて作成し、 集計後、データストアに投入する機構の構築に携わっていただきます。

エンド直/フルリモート【Python/SQL】データ基盤構築案件

在庫管理システムを支えるデータ基盤の構築案件となります。 主に、機能改善及び機能追加をご担当頂き、 大量データの加工をSQLやPythonを用いて作成し、 集計後、データストアに投入する機構の構築に携わっていただきます。

Python/バッチ開発・運用案件

自社独自のデータ集積のプラットフォームを持つ運営する企業にて 主に様々な種類のDBのバッチ開発・改修・運用業務をお願い致します。 ・Pythonを使ったバッチ開発/改修/運用 ・データインサート …etc. 【環境】　　：言語：Python インフラ： Google Cloud Platform データベース： PostgreSQL DWH：BigQuery ワークフロー： Google Cloud Composer (Apache Airflow) その他ミドルウェア： Dataflow(Apache Beam), Dataproc(Apach Spar...

【基本リモート】データ基盤構築支援

データエンジニア。 データサイエンティストやエンジニアと協力しながら、データ基盤を構築・改善し課題解決を行う。 データ処理/管理/収集、Webクローリングやスクレイピングなどデータ活用、他 期　間　：6月1日～

【Python】新規/既存セキュリティサービス開発案件

新規セキュリティサービスの開発や既存セキュリティサービスの保守開発。 新しい技術を積極的に使ってシステム開発を実施。

【Python】新規/既存セキュリティサービス開発案件

新規セキュリティサービスの開発や既存セキュリティサービスの保守開発。 新しい技術を積極的に使ってシステム開発を実施。

【Java】サーバサイドエンジニア案件

日本No1.のコスメ・美容の総合サイトおよび関連サービス全ての 基盤部分の開発・運用を担当をしていただきます。 ■業務内容： ・ポイント関連 ・会員に関する情報管理 ・認証基盤 ・各種検索機能 ・弊社内だけではなくBtoBのサービスとして社外へも提供している様々なAPIの開発及び運用 ※能力に応じて、企画やデザインから検討会議に参加していただくことが可能です。 ■開発環境 ・言語：Java、PHP、(Ruby) ・PHPフレームワーク：Laravel、CakePHP ・JavaScriptフレームワーク：Vue.js ・Javaフレームワーク：Spring boot ・データベース：MySQL、Microsoft SQL ...

【Python/Java/Scalaなど】ディープラーニングエンジニア案件

R&D部門にて、各種サービスの基盤開発や速度改善、ターゲティングやビッグデータを利用した開発、それらを支えるインフラストラクチャ再構築とデータ構造の再構築などを主に担当しています。 技術開発グループ、技術戦略グループは、ともに、速度改善やサービス基盤開発を行いながら、ビッグデータを活用した分析処理や、ストリーミング処理など先進的な技術を用いながら試行錯誤を繰り返しながら機能開発をメインに行っており、 インフラストラクチャグループはスケールしやすく、耐障害性、可用性の向上のための施策、保守・運用を行なうグループです。 ■業務内容： 技術研究とそれらを用いた開発を行う部署にて、様々なデータを扱い、新たなサービス開発と改善 また...

【PHP/Hack/Java/Goなど】急成長中企業のアプリケーションエンジニア案件

ECや実店舗も持ち、幅広くBeautyに関するビジネスを展開している 急成長中の企業にて各種サイトの開発に携わっていただきます。 ■業務内容事例： ・クチコミサイトの開発 ・ブログサイトの開発 ・Q&Aサイトの開発 ・ポイントサイトの開発 ・ECサイトの開発 ・サロン予約サイトの開発 ・新規事業の開発 ・上記開発を支えるAPI開発　など （経験・適性に応じて上記開発案件の配属チーム、アサイン業務を決定いたします） ■開発環境： ・言語：PHP、Hack、JavaScript(ES6、TypeScriptなど)、Java、Go、Scala ・PHPフレームワーク：Laravel(5)、CakePHP(2、3)、Zend Fr...

【PHP/Ruby/Java/Goなど】急成長中企業のアプリケーションエンジニア案件（BtoB向け）

ECや実店舗も持ち、幅広くBeautyに関するビジネスを展開している 急成長中の企業にて各種サイトの開発に携わっていただきます。 経験・適性に応じて配属チーム、アサイン業務を決定いたします ■ 業務内容事例 ・サービスの開発・保守・運用 機能開発はエンジニアだけでなく、他部署のプランナーやデザイナーとMTGを行い進めていく場合があります。 ・他サービスへの機能提供API開発 ・オンプレ環境からクラウド環境への移行作業 ・サービスの仮想化 ・定例MTGの実施 朝会、夕会、週次定例、コードレビュー会などを必要に応じ、適時実施しています。 ■開発環境： ・言語：PHP、Go、Ruby、Java ・PHPフレームワーク：Lar...

【PM/PMO】急成長中企業のエンジニアリングマネージャー案件

下記いずれかの部門のマネージャー業務をお願いいたします。 ①ソリューション開発部 ②メディア開発統括部 ③システムアーキテクチャ部 ■業務内容： ・開発チームのチーム編成や、プロジェクトにおけるチーム管理 ・プレイヤーとしての開発業務 ・エンジニアの目標設定・評価・育成 ・プロジェクトマネジメント、技術面以外も含めた問題解決、組織的改善 ・他部署との調整、コミュニケーションづくり ・人材採用 ・率先した継続的なアプリケーション改善 ※技術選定やアプリケーション設計などにも参加いただくこともございます。 ■開発環境： ・言語：PHP、Hack、JavaScript(ES6、TypeScriptなど)、Java、Go、Scal...

【Linux・Hadoop】分析基盤向けPoC支援案件

某大手Sier内で行っているHadoop、Apache Sparkなど分析基盤のPoCおよび環境構築を担当頂く想定です。 Linux、Hadoop、Apache Sparkなどの技術を扱う環境です。

【Hadoop】分析基盤の設計、構築支援案件

Hadoopを利用した分析基盤の設計構築を担当頂きます。 Apache Spark、Zookeeper、Ambari、YARN、Hive等の構築を行うので、最新のテクノロジーにも触れられる環境です。

【Python】学術系成果物管理システム 保守開発案件

学術系成果物管理システムの保守開発をお願いします ■ 環境： 【技術】Python 【インフラ】CentOS7, Riak, Solr, Spark 【開発環境】MacOS. Git. ■ 案件詳細：以下システムの機能追加開発、および保守運用 * 学術系論文や書籍等の成果物情報を収集、正規化、名寄せを実施するシステム * 正規化/名寄せデータを外部サービスへ提供するシステム（主としてWeb API）

【SQL(AWS尚可)/基本リモート】製品利用ログ分析基盤の開発・運用

クラウド(AWS)を使用した製品利用ログ分析基盤の開発・運用 Redshift (PostgreSQL)上のDBテーブル設計、クエリ開発 AWS EMRを使用したETL, データ前処理 (Python, Spark) ■現状の主な作業 ユーザの操作ログやDB(Dynamo や DocumentDB)などのビッグデータを　AWS の Redshift にロードし、そこから集計処理(Redshift to Redshift のテーブル 設計・集計実行)を行うバックエンド作業。 既存のSQL分を読み解いて、別の新規のSQLを作ったり、効率化を進めたりする。 集計処理後のテーブルデータは、Tableau などに渡して月次報...

（Python/Hadoop）ビックデータの基盤構築案件

某大手事業会社内でのビックデータ案件になります。 現在稼働しているHadoop環境の運用、保守に加え、 新規機能の開発などがスタートしたため人員の増員を計画しております。 データ分析は別チームが存在しますので、あくまで分析を行うための 環境構築を行って頂くポジションとなりますが、現場の状況、 また適正次第では分析業務にも関わっていただく可能性がございます。 ※具体的な業務内容※ ・Sparkを利用して、Hadoopクラスタ上のデータを分析するツールの開発 ・Hadoopクラスタにデータを取込（いわゆるETL）アプリ・スクリプトの保守 ・Hadoopクラスタの運用

【Java】IoT基盤構築案件

IoTビジネスを拡大するにあたり、弊社クライアントビジネスのヒアリングはフレクトプロパーが担当するので、 そのビジネス要件に基づきアプリ基盤業務を遂行できる方の募集をします。 想定される環境は、AWS、heroku上へのアプリ構築になります。 センサーデバイス（httpとは限らない）からデータを吸い上げ、 加工、集約、そして、見せる。までが近々でのミッションとなります。 直近フェーズにおいては、ビッグデータではあるものの集約機構をつくるだけなので、性能要件が求められるかたち。 現時点の見通しとしては、hadoopやspark、インパラなどの処理基盤構築はしない可能性が高い。 treasure dataのようなクラウ...

【Python/SQL】データエンジニアの求人・案件

Google Cloud / AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用 データ分析システム・サービスの監視設計・運用 日々の運用業務から発生する課題の解決・改善 技術要素(★が特に重要) GoogleCloud ★Cloud Composer2（及びAirflow2） ★Cloud Dataproc（Apache Spark(scala)） Cloud Build Cloud Storage BigQuery Cloud Monitoring / Cloud Logging AWS ★Kinesis firehose ★SQS / SNS ★ECS ★Lambda ECR S3 Cloud Watc...

【DBエンジニア】データ基盤構築PoCプロジ ェクトの求人・案件

現在国内エネルギー系⼤⼿企業がエンド顧客となるデータ基盤構築PoCプロジェクトが進⾏中。 PoCを通してインフラアーキテクチャの策定、⼤まかなデータパイプラインのフローを策定した9⽉以降の本番環境構築では、インフラ構築からセキュリティ対応、より多くのデータパイプライン構築を予定しており、データエンジニアの拡充を⾏っている。 データ基盤要件定義 データレイクに保存するデータの形式の洗い出し (CSV, JSON, 画像ファイ ル etc…) データソースのインターフェイス特定 (REST API, FTP etc…) データ加⼯(ETL)要件ヒアリング データレイク設計 (Hadoop File System) DWH設計/テー...

【SQL/Python】新規データマート作成の求人・案件

・新規データマート要件定義、既存集計フロー効率化 ・ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります ・データマート作成 ・既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務 AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築 既存の基盤改修・改善 ・データマート日次運用保守業務 【現場環境】 ・プログラミング言語：　Python ・ライブラリ：　PySpark, pandas ・データベース：　AWS RDS (SQL...

【SQL】トライネットシステム開発支援の求人・案件

■開発環境 プログラミング言語：Python ライブラリ：PySpark, pandas データベース：AWS RDS (SQLServer), AWS Athena(trino) 環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue BIツール：QuickSight ■業務内容 ・新規データマート要件定義、既存集計フロー効率化 ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります ・データマート作成 既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のための...

【Python/SQL】小売業界向けデータ基盤構築エンジニアの求人・案件

クライアント内で構成されているOSSアプリケーションの仕様を把握し、それぞれの連携を行い、データ基盤そのものを構築いただきます。 技術要素 GoogleCloud Cloud Composer2（及びAirflow2） Cloud Dataproc（Apache Spark(scala)） Cloud Build Cloud Storage BigQuery Cloud Monitoring / Cloud Logging AWS Kinesis firehose SQS / SNS ECS Lambda ECR S3 Cloud Watch その他 GithubActions Terraform

【Python/SQL】小売業界向けデータパイプライン構築の求人・案件

データパイプラインの構築エンジニア 主業務：要件に合わせルールに則ったデータモデリングを行い、各基盤のツール群を使ってデータ加工するパイプラインバッチの構築を担当いただきます。 技術要素(★が特に重要) GoogleCloud ★Cloud Composer2（及びAirflow2） ★Cloud Dataproc（Apache Spark(scala)） Cloud Build Cloud Storage BigQuery Cloud Monitoring / Cloud Logging AWS ★Kinesis firehose ★SQS / SNS ★ECS ★Lambda ECR S3 Cloud Watch その他 ...

【Pythonなど】小売/卸売業向けAI系サービス/データ基盤構築の求人・案件

某ベンチャー企業にて、在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 自社サービスSaasの新バージョンをこの春リリースし、 エンタープライズとの契約が急激に増えている中で、 非常に多くの機能改善要望や機能追加要望が出てきています。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。 社員エンジニアとスクラムチームを形成し、スクラムイベントを通じて、 開発メンバー全員でスプリントを消化していく体制になります。 業務内容 顧客の持つ様々なビッグデータをクラウド環境で統合し、その分析/活用が出来る基盤の構築/運用しま...

【SQLなど】大規模会計サービス/アナリティクスエンジニアの求人・案件

【仕事内容】 ・DWH層テーブルの要件定義・設計・開発・保守 関係者からのヒアリング・データ調査 メンテナンス性・汎用性を意識したテーブルの設計 SQLおよびPySparkを用いた実装 ・DWH層テーブルについての問い合わせ対応・不具合調査

【Python/SQL】Saasのデータ基盤構築の求人・案件

【概要】 ・在庫最適化システムを支えるデータ基盤の構築 ・Saasの新バージョンをこの春リリースし、エンタープライズとの契約が急激に増えている中で、非常に多くの機能改善要望や機能追加要望の相談増 ・数億レコードにもなる大量のデータ加工をSQLやPythonを用いて作成、 集計後、データストアに投入する基盤の構築 ・エンジニアとスクラムチームを形成し、スクラムイベントを通じて、開発メンバー全員でスプリントを消化していく体制 【工程】 基本設計　詳細設計　開発　単体テスト　結合テスト　総合テスト　運用

【SQLなど】大規模会計サービス運営企業/アナリティクスエンジニアの求人・案件

・DWH層テーブルの要件定義・設計・開発・保守 - 関係者からのヒアリング・データ調査 - メンテナンス性・汎用性を意識したテーブルの設計 - SQLおよびPySparkを用いた実装 ・DWH層テーブルについての問い合わせ対応・不具合調査

【Python/SQL】小売業界/データエンジニアの求人・案件

Google Cloud / AWSを利用した商用稼働サービスのデータパイプラインの開発・保守運用 データ分析システム・サービスの監視設計・運用 日々の運用業務から発生する課題の解決・改善 技術要素(★が特に重要) GoogleCloud ★Cloud Composer2（及びAirflow2） ★Cloud Dataproc（Apache Spark(scala)） Cloud Build Cloud Storage BigQuery Cloud Monitoring / Cloud Logging AWS ★Kinesis firehose ★SQS / SNS ★ECS ★Lambda ECR S3 Cloud Watc...

【Pythonなど】Saasプロダクトデータ基盤構築の求人・案件

在庫最適化システムを支えるデータ基盤の構築を行っていただきます。 顧客からの数億レコードにもなる大量データの加工をSQLやPythonを用いて作成し、集計後、データストアに投入する機構の構築に携わっていただきます。