Apache Sparkの業務委託案件・フリーランス求人一覧｜ページ4

【週４リモート/AWS・Databricks】ビッグデータ解析・分散処理基盤開発データエンジニア募集！

自社サービスのデータエンジニアとして、ビッグデータ解析/分散処理基盤開発をお任せします。 今後様々な連携を行っていく上でのデータ基盤開発を強化していく方針であり、 その推進をお願いできればと考えております。 ＜具体的な業務例＞ ・Databricks 上に構築された社内向けの新データ基盤の開発・運用 ・AWS 上に構築された旧データ基盤の運用 ・社内各所の要求に応じた dbt によるデータモデリング ・AWSを利⽤したビッグデータ解析⽤分散処理基盤のアーキテクチャ選定から設計 ・実装、運⽤フロー⾃動化の提案、実装 ・ビジネスサイドの要望をヒアリング、最適なアーキテクチャの選定 ・各所ニーズ(マーケター、サイエンティスト、機械...

・pull request ベースでの Python 等のプログラム開発経験（5年以上） ・データ基盤の設計/構築、または運用経験（3年以上） ・SQL によるデータ分析やデータモデリングの経験（3年以上） ・AWS もしくは GCPを利用したサービスの構築経験（3年以上） ・dbtを用いたデータモデルやデータパイプラインの開発経験（1年以上） 【あると望ましいスキル・経験】 ・データ基盤チームのチームリードの経験 ・Databricks, Snowflake などのプラットフォーム上に構築されたデータ基盤の開発・運用経験 ・Terraform による IaC の経験 ・Apache Spark 等の分散処理フレームワークを...

【データアナリスト】大手SIer データ基盤構築/活用支援（Snowflake）の求人・案件

国内外の様々なお客様にSnowflakeの導入とそれに伴うデータ活用の支援 -Snowflakeの導入コンサルティング -Snowflakeを中心としたデータ基盤の開発支援、データ活用支援 -Snowflakeや周辺技術領域（モダンデータスタック）の情報収集、技術検証 -データ基盤やデータエンジニアリングに関する技術情報発信

-RDBMS製品（Oracle、 PostgreSQL、MySQL等）または DWH製品（Teradata、Redshift、BigQuery等）または データレイク製品（Hadoop/Spark、EMR等）に関する開発経験 -クラウド（AWS、Azure、GCP等）に関する開発経験 -基本的なSQLまたはPythonのコーディングスキル -論理的思考、ドキュメンテーションのスキル

【Python／Shell】【PL】大手製造小売業におけるデータ設計開発業務の求人・案件

大手製造小売業におけるデータ設計開発業務の運用リーダーとしてご参画していただきます。\n\n主に下記作業をご担当いただきます。\n・AWS を活用したデータ基盤（DWH／データレイク）の設計・構築・運用\n・Glue・Spark／PySpark・MWAA などを用いた ETL／\nデータパイプラインの開発・改善\n・分析向けデータモデル（DWH スキーマ等）の設計および dbt を用いたモデル開発\n・データ処理の品質管理、パフォーマンス改善、運用フローの最適化\n・運用チームのタスク管理・トラブルシューティングなどのリーダー業務\n\n【開発環境】\n使用言語: Python, Shell Script, SQL\nデータ処...

・中国語スキル（ビジネスレベル） ・Python/Shell経験 ・Spark/PySparkに精通し、大規模データ処理ができる ・AWSのデータ関連サービスに精通している（以下を含むが、これらに限らない） ┗Sc // Glue（Catalog / Job） // Athena // Kinesis // ECS // MWAA（Managed Airflow） ・ETLデータパイプラインの開発・実装を独立して行うことができる ・データモデル（ディメンション・ファクトテーブル・DWHアーキテクチャ等）の設計スキル

【基本リモート】データ分析基盤構築案件

案件概要：データ分析基盤構築案件 業務内容： 現状のデータ分析基盤はTalend、RedShiftを用いたアーキテクチャだが 性能限界が見込まれいるため、改善すべき処理や課題の抽出を実施する案件 場所：基本リモート 外国籍：NG

・大量データを扱うバッチ設計 ※現行データ分析基盤(Talend、RedShift)の課題や改善点など抽出可能なこと ・Apache Sparkなどフレームワークを利用した大量データを処理するバッチシステムの設計・開発スキル保有

スクラム開発(アジャイル開発)支援/メーカー企業のエンジニア求人・案件 IT

【Java】ECサイトのデータ分析基盤の運用改修業務/化粧品系のエンジニア求人・案件 業務 / IT

工場データの共通基盤構築支援【長崎】/半導体メーカーのエンジニア求人・案件 IT

【Spark】ECサイトのデータ分析基盤運用機能改修支援/分散処理/Javaのエンジニア求人・案件 IT

【spark on scala】美容系ECサイト向けデータ分析基盤の運用・機能改修/六本木一丁目/即日～のエンジニア求人・案件 IT

【基本リモート】データ分析基盤構築案件(Talend、RedShift、Apache Sparkなど)

案件概要：データ分析基盤構築案件(Talend、RedShift、Apache Sparkなど) 業務内容： 現状のデータ分析基盤はTalend、RedShiftを用いたアーキテクチャだが 性能限界が見込まれいるため、改善すべき処理や課題の抽出を実施する案件 場所：基本リモート 外国籍：NG

・大量データを扱うバッチ設計 ※現行データ分析基盤(Talend、RedShift)の課題や改善点など抽出可能なこと ・Apache Sparkなどフレームワークを利用した大量データを処理するバッチシステムの設計・開発スキル保有

【AWS/フルリモート】【業務委託（準委任）】ウェルネス・運動施設向けSaaSにおけるデータ基盤エンジニア（テックリード）の案件・求人

・新データ基盤の設計・構築（AWS／BigQuery／Snowflake等） ・ETL/ELTパイプラインの改善・最適化 ・データモデル設計／マルチテナント対応 ・データガバナンス、セキュリティ設計・運用、コンプライアンス対応 ・全社業務データ／IoTデータ／行動データの統合管理 ・BIツール連携設計 ・データ基盤運用・最適化、チーム技術育成・レビュー （工程）要件定義、設計、構築、運用、最適化、技術リード （開発環境） 言語：Python／Go／Java クラウド：AWS／GCP／Snowflake IaC：Terraform／CloudFormation／CDK DWH：BigQuery／RDBMS...

・クラウド（AWS／GCP／Snowflake等）での大規模データ基盤構築・運用経験 ・Terraform／CloudFormation／CDK等によるIaC本番運用経験 ・RDBMS／SQLを用いたテーブル設計・ETL開発経験 ・Python／Go／Java等でのデータ処理バッチ設計・開発経験 ・ステークホルダー調整を伴う基盤開発推進経験 ・技術的リード経験 ・セキュリティ／データ品質に関する強い意識 ・マルチクラウド／ハイブリッド構築経験 ・数百万件規模／リアルタイム処理のパイプライン構築経験 ・ETLフレームワーク（Spark／dbt／Dataform／Trocco等）利用経験 ・機械学習を用いた予測...

【web面談設定済み、弊社同席、リモート併用】大手通信業者様データ情報系システムのモダナイズ案件/

大手通信業者様のデータ情報系システム（大規模DWH）を 段階的にクラウドシフトしている案件です。

・基本設計～開発、試験工程までの経験が有り この工程範囲を１人称で進められる方 ・チーム特性からある程度自主的に動ける方 ・spark、linux、RDBの開発経験 ＃シェルの作り込みなどLinuxに長けてる必要あり

【AWS/Python/Spark】データ分析基盤の保守開発サブリーダー

大手通信企業向けの大規模データ分析基盤にて、保守開発および新規技術導入を推進するサブリーダーを募集します。 AWSを中心に、インフラ構成の検討・設計からリリースまで一連を担当。CI/CD、Databricks、チャットボット、コンテナ等のPOC的導入・刷新にも関与いただきます。 具体的には、AWS環境でのサーバ構築やシステム開発、EMR/Sparkを用いたデータ分析・抽出、データ集計・手動更新、テストデータ導入、AWS Lambdaによるジョブ実行コントロールなどをお任せします。

・AWSなどクラウドを用いたインフラ設計・構築・運用の実務経験 ・サブリーダー相当の推進経験、またはAWS設計構築のエキスパートスキル ・汎用プログラミング言語での開発経験（Python／Node.js／Java／Go いずれか）

学習支援サービスにおけるデータ分析基盤の保守開発

【案 件 名】学習支援サービスにおけるデータ分析基盤の保守開発 【内 容】 ・既存システムのキャッチアップ ・データ分析基盤の保守開発 Databricksをベースとした既存データ分析基盤からの即時キャッチアップが求められており、 加えて即時運用開発へ移行できる即戦力を求めております。 【場 所】フルリモート想定 【期 間】7月初旬～ 【募集人数】2名 【人 物 像】コミュニケーション問題ない方/自走できる方 【金 額】75万～90万 【面 談】2回

【ス キ ル】 必須スキル ・データ分析基盤の構築経験が豊富 ・Databricksの経験（1人称） ・既存システムの仕様把握・キャッチアップ能力が高い方 ・以下の技術を利用したシステム構築および開発経験 Azure関連：Azure Data Factory, Azure Data Lake Storage, Azure Databricks ツール,言語関連：SQL, Python（特にPySpark）, Apache Spark 尚可スキル ・以下の技術を利用したシステム構築および開発経験 Delta Lake,Koalas（PandasライクなSparkライブラリ）

【フルリモート】Databricks！学習支援サービスにおけるデータ分析基盤の保守開発

Databricksをベースとした既存データ分析基盤からの即時キャッチアップが求められており、 加えて即時運用開発へ移行いただける方を募集しております。 ＜業務内容＞ ・既存システムのキャッチアップ ・データ分析基盤の保守開発 ＜就業時間＞ 9:00-18:00 ※※こちらの案件は現在募集を終了しております※※

・豊富なデータ分析基盤の構築経験 ・独力でのDatabricks経験 ・既存システムの仕様把握・キャッチアップ能力 ・以下の技術を利用したシステム構築および開発経験 -Azure関連：Azure Data Factory, Azure Data Lake Storage, Azure Databricks -ツール,言語関連：SQL, Python（特にPySpark）, Apache Spark

【Azure】小中学生向け学習支援サービスにおけるデータ分析基盤の保守開発の求人・案件

・既存システムのキャッチアップ ・データ分析基盤の保守開発

・データ分析基盤の構築経験が豊富 ・既存システムの仕様把握・キャッチアップ能力が高い方 ・以下の技術を利用したシステム構築および開発経験 Azure関連：Azure Data Factory, Azure Data Lake Storage, Azure Databricks ツール,言語関連：SQL, Python（特にPySpark）, Apache Spark

【SE募集】Azure・Sparkによる学習支援サービスのデータ基盤開発案件

学生向け学習支援サービスにおけるデータ分析基盤の保守開発をご担当いただきます。 既存システムの仕様を迅速にキャッチアップし、Azure関連技術を活用したシステムの保守および開発に従事していただきます。 【具体的には】 ◆既存データ分析基盤の保守・開発業務 ◆既存システムの仕様把握・キャッチアップ ◆Azure Data Factory、Data Lake Storage、Databricks 等の利用 ◆SQL、Python（PySpark）、Apache Sparkを用いた開発

◆データ分析基盤の構築経験が豊富な方 ◆既存システムの仕様把握・キャッチアップ能力が高い方 ◆Azure Data Factory, Azure Data Lake Storage, Azure Databricks を用いた開発経験 ◆SQL、Python（特にPySpark）、Apache Spark の利用経験

【SAS】データマネジメントシステムのクラウド移行支援

データ分析用途のデータマネジメントシステムをクラウド環境へ移行するプロジェクトです。 【作業体制】 以下いずれかのチームにアサインされます。 1. SASからSASViyaへの移行（データマート設計・開発・テスト） 2. Databricks / Apache Spark / SQL / Pythonを利用した設計・開発・テスト

以下いずれかのご経験がある方： - SASの業務経験 - BigQuery、SQLの業務経験 - Databricks（Apache Spark）、SQL、Pythonの業務経験

Python,Spark/データ分析ツール導入および保守開発支援を行うエンジニア

▍通勤面：リモート併用環境！ ▍インボイス未登録の方OKです！ データ分析ツール導入および保守開発支援にて、 Pythonの経験者を募集しています！ 作業内容は以下の通りです。 ◆想定作業◆ ・生保向けデータ分析ツール導入/開発保守 ・開発より調査やドキュメント作成が多い想定 ・Azureへの移行 ・その他付随する作業 他お任せしたいPJは複数ありますので、 ご希望のご条件、内容をお聞かせください！ 相談のみのご応募も歓迎です！

・週5日ご勤務頂ける方 ・勤務地出社可能な方優遇 ❖給与・報酬❖ 600,000～800,000円（税込） あくまでも目安ですのでご相談下さい！

【Java・Python/基本リモート/週5日】某通信会社向け開発支援作業

某通信会社向け開発支援作業

〈リーダー枠〉 ・JavaまたはPythonまたはScalaの開発経験がある方。 ・リーダー経験が1年以上ある方。 ・基本設計からのご経験がある方。 ※OSS（Kafka、Spark、Haddp、Flink）を使用したストリーミング経験があれば尚可 ※アジャイル開発経験があれば尚可 〈メンバー枠〉 ・JavaまたはPythonまたはScalaの開発経験がある方。 ・詳細設計からのご経験がある方。。 ※OSS（Kafka、Spark、Haddp、Flink）を使用したストリーミング経験があれば尚可 ※アジャイル開発経験があれば尚可

【Python/SQL】SaaS企業におけるデータエンジニアの業務委託案件・フリーランス求人

世の中のクリエイティブデータを解析するSaaS！ LLMエンジニア募集

SQLによるデータ抽出、集計の実務経験 (3年以上) PythonもしくはNode.jsのプログラミング経験（2年以上） / クラウド環境 (AWS, GCP, Azure)でのデータ基盤構築、運用経験 (1年以上) / データパイプライン構築、運用経験 (Airflow, Spark, Flinkなど) / データ品質に関する知識、データガバナンスに関する知識 / バージョン管理ツール (Gitなど) の利用経験 / アジャイル開発の経験 / クラウドネイティブ環境での開発経験（AWS Lambda, GCP Cloud Functions, Serverless Framework など） / CI/CDの構築・運用経験（...

人流データの抽出処理に関する検証、改修業務 - フリーエンジニア IT 案件 求人【エンジニアルーム】ITフリーランス ITエンジニア IT個人事業主 仕事 転職 募集

【人流データ抽出処理に関する検証、改修業務】☆ Spark（Scala）によるバッチ処理改修 BashによるShellスクリプト改修 Gitlabでのissue/コード登録 外部設計～リリース

その他 Spark（Scala）によるデータ加工/集計処理の経験 SQL（DML/DDL）開発経験 Unixシェルスクリプト開発（bash）

人流統計処理開発支援 - フリーエンジニア IT 案件 求人【エンジニアルーム】ITフリーランス ITエンジニア IT個人事業主 仕事 転職 募集

【人流統計処理開発支援】☆ Spark(Scala)によるバッチ処理改修 BashによるShellスクリプト改修 Gitlabでのissue/コード登録 外部設計/内部設計/開発/単体テスト/結合テスト/リリース

SQL , その他 Spark(Scala)によるデータ加工/集計処理開の経験 SQL（DML/DDL）開発の経験 Unixシェルスクリプト開発（bash）

【フルリモート/Python】通信会社向け開発支援作業

■概要 通信会社向け開発支援作業 ■工程・担当業務 基本設計～テスト ■募集人数 ２～３名 ■働き方 フルリモート

・OSS（Kafka、Spark、Haddp、Flink）を使用したストリーミング経験

【エンド直/フルリモート/フレックス有/Python/AWS】データエンジニア募集

【仕事内容(概要)】 - 『SaaS+Database』サービスを支えるビッグデータ（数十TBオーダー）基盤の構築・改善 【仕事内容】 以下のいずれか、もしくは複数を対応いただきます。 - Webデータクローリングのためのパイプライン新設や改善 - データのクレンジングやエンリッチメント処理 - データの品質改善を目的とした品質モニタリング環境の構築 - スケーラブルかつコスト効果の高いデータ基盤への改善 - 将来的なデータサイエンス活用を踏まえたデータ基盤やデータ品質整備設計

- SQLもしくはPythonでのデータ処理経験（3年以上） - パブリッククラウド利用経験（3年以上） - Apache Spark（PySpark含む）でのデータ処理経験

PHP,Laravel/出版社向けWEBアプリ開発を行うエンジニア

?通勤面：リモート併用環境！ ?インボイス未登録の方OKです！ 玩具メーカー/出版社向けWEBアプリ開発にて PHP,Laravelの経験者を募集しています！ 管理サイトや応募サイトなど各種サイト等の バックエンド側開発をご対応お願い致します。 ▼ご担当工程： ・基本設計～詳細設計～製造 ・テスト～リリース～運用保守 ・その他付随する作業 他お任せしたいPJは複数ありますので、 ご希望のご条件、内容をお聞かせください！ 相談のみのご応募も歓迎です！

・週5日ご勤務頂ける方 ・基本設計からリリースまでのご経験 ・PHP(Laravel)を用いた開発のご経験 ?勤務地出社可能な方優遇！? ※出社頻度はご相談ください！ ?給与・報酬? 600,000～750,000円（税込） あくまでも目安ですのでご相談下さい！ 以下キーワードの方が活躍中！ #フリーランス#業務委託 #在宅#リモート#テレワーク #エンジニア#プログラマ#SE#PG #Python #SQL #Spark #データ分析

Python,Spark/データ分析ツール開発保守を行うエンジニア

?通勤面：リモート併用環境！ ?インボイス未登録の方OKです！ データ分析ツール開発保守PJにて、 Python/Spark経験者を募集しています！ ▼ご担当工程： ・データ分析、利活用ツールの導入 ・保守開発等（開発より調査やドキュメント作成の方が多い想定） ・Azureへの移行 ・その他付随する作業 他お任せしたいPJは複数ありますので、 ご希望のご条件、内容をお聞かせください！ 相談のみのご応募も歓迎です！

・週5日ご勤務頂ける方 ・Pythonを用いたデータ分析のご経験 ・Sparkのご経験 ?勤務地出社可能な方優遇！? ※出社頻度はご相談ください！ ?給与・報酬? 550,000～700,000円（税込） あくまでも目安ですのでご相談下さい！ 以下キーワードの方が活躍中！ #フリーランス#業務委託 #在宅#リモート#テレワーク #エンジニア#プログラマ#SE#PG #Python #SQL #Spark #データ分析

【SQL】【インフラエンジニア】製造業様向けAzure Databricks開発の求人・案件

製造業様向けAzure Databricks開発業務に携わっていただきます。\n\n主に下記作業をご担当いただきます。\n・顧客の作成中のソースのレビュー、データ変換・移行に関する分析\n・Bronzeにあるデータを変換して次のSilver Layerに持っていく（Bronze⇒Silver⇒Gold）\n・Gold LayerのデータをMLなどに活用、BIで分析\n・Azure Databricksソリューションの設計とデリバリー\n・要件分析とソリューションアーキテクチャ設計及び仕様の作成\n・データモデリングとデータアーキテクチャ設計\n・ETL、データ統合、およびデータ移行の設計\n・データ品質システムとプロセスの設計...

・Data関連の案件経験（10年以上） ・Azure環境で Databricksにデータの分析、変換、モデリング、移行の経験 ・Azure Data lake storage, Databricks clusters経験 ・Databricks のアーキテクチャやコンポーネント (ノートブック、ジョブ) に関する深い理解 ・データ基盤（Databricks）経験 ・ジョブ、データブリックスノートブックのパフォーマンス最適化経験 ・Spark、SQL、データフレームに関する深い知識 ・Python, Pysparkのプログラミング経験

Python／広告事業のデータマイニング・機械学習エンジニア募集案件・求人

複数ある自社広告配信プロダクトの100億レコード以上/日のログを分析し、広告配信を最適化する業務を担当いただきます。 【主な仕事内容】 ・ビジネスインパクトが大きなKPI改善の見極め ・KPI（CPCなど）最適化の改善及び運用

Python ・Python、SQL、Spark、BigQueryなどを用いた分析経験：2年以上 ・サーバーサイドフレームワークを用いた開発運用経験：1年以上 ・チームリーダーやプロジェクトマネージャーとしてプロジェクトを推進した経験 ・開発の遂行に必要な情報を関係者（ビジネス、エンジニア）に自力でヒアリングしつつドキュメント化しプロジェクトを推進した経験 ・稼働中のプロダクトに対してシステム面やビジネス面の課題発見し、KPI改善をした経験 ・既に機械学習で実装されたものを更に改善した経験

【Java/Python/生成AI】生成AI/LLM専任チーム

■概要 ・プロダクトへの生成AI/LLM技術適応の開発 ・生成AI・LLMに関わるサービスの技術選定、アプリケーションのアーキテクチャ設計 ・生成AI・LLMに関わる最先端の技術キャッチアップ・外部発信

以下のうち2つ以上の経験を持っていること ・Backend: Go, Java,Pythonなど言語を用いたAPIの開発経験 ・Frontend: TypeScript, React.js, Next.js, Reduxなどを用いたフロントエンド開発経験 ・Data Platform: Data Platform: Dataflow/Spark/Kafka/Flinkなどの分散処理フレームワークを用いた開発経験や、AvroおよびProtocol Buffersで表現されるデータスキーマ、ファイルフォーマット（Parquet/ORCなど）に関する知識

【六本木/リモート併用】AzureDatabricks開発支援

■概要 Azure Databricks 開発案件（CXプロジェクトの一環としてデータマネージメントシステム）。 顧客の作成中のソースのレビュー、データ変換・移行に関する分析。 １つLayerにあるデータを変換して次のLayerに持っていく。 （Layer 1⇒Layer 2⇒Layer 3） Layer 3でMLなどに活用、BIで分析（別チームが動いている）

・Data関連の案件で10年以上経験 ・Azure環境で Databricksにデータの分析、変換、モデリング、移行の経験 ・Azure Data lake storage, Databricks clusters ・Databricks のアーキテクチャやコンポーネント (ノートブック、ジョブ) に関する深い理解 ・データ基盤（Databricks） ・ジョブ、データブリックスノートブックのパフォーマンス最適化 ・Spark、SQL、データフレームに関する深い知識 ・Python, Pysparkのプログラミング経験

【Java】新たなマーケティングに繋げるデータベースエンジニア案件

Webサイトやスマホアプリからユーザーの行動データを収集して マーケティングやWeb施策に活用するために抽出、集計を行うためのDMPの構築 フェーズ：設計、製造・単体テスト、結合テスト

・Java(version 8) Rxjava　ライブラリ java8　ラムダ式 spring-boot　フレームワーク gradle　ビルドツール ・AWS EC2,S3,RDS,ElastiCache,EMR,DataPipeline,Redshift ・Apache Spark ・TreasureData ・Tealium

Scala/　サーバーサイドエンジニア案件

広告技術のDSP開発をお願いします。 本事業部では、各社とのシステム連携により広告を表示しています。 1つのリクエストに対して100ミリ秒で応答を返すという制限(低レイテンシ)と 秒間1万を超えるリクエストを処理(ハイスループット)するシステムを作ります。 メイン言語はScalaを利用し、インフラ環境はGoogleCloudPlatformを利用しています。 エンジニア５人程度のチームでアジャイル開発のプロセスをベースにカンバンなどで作業進捗を確認しながらすすめ、 ドキュメントはコミュニケーションと保守に必要な最低限の情報で作成し、システムの実装、開発、運用をしています。

・Linux / RDBMS / Java / Scala 等を利用した Web アプリケーションの開発経験 ・チーム内でコミュニケーションを行いながら、能動的に開発を進めてゆけるスキル ・ビジネスの要件からアーキテクチャの提案、システムの設計、実装、テスト駆動開発などを行える 以下のスキルから少なくとも2つ ※ 業務経験でなくとも、OSS 活動などの個人での活動でも構いません。 ・Scala の利用経験もしくは関数型言語の利用経験 ・Web フレームワークやライブラリ等の作成経験もしくはカスタマイズ経験 ・アーキテクチャ設計もしくは技術選定経験 ・Hadoop エコシステム（MapReduce, Spark, Hive,...

【Java】データベースエンジニア案件

設計、製造・単体テスト、結合テスト 抽出・集計を行うためのDMP構築・Webサイト・スマホアプリからのユーザーデータの収集

・Java(version 8) Rxjava　ライブラリ java8　ラムダ式 spring-boot　フレームワーク gradle　ビルドツール ・AWS EC2,S3,RDS,ElastiCache,EMR,DataPipeline,Redshift ・Apache Spark ・TreasureData ・Tealium

【Python】収集データ分析システム開発

メディアの収集データを分析してくれるシステムを開発していく案件での人員募集になります。 元請け側のチームに参画し、 維持管理しているシステムの定常業務＋案件が発生したときに対応するメンバーを募集します。 直近だとSnowflakeに移行する案件などが維持管理に移ったりしているのでそういった案件を維持しつつ発生案件に対応していきます。 基本は、Snowflakeの開発案件が多いチームです。 長期的に支援いただける要員を探しております。 ※Pythonとrubyとでそれぞれ案件が複数あり、現状はRuby案件に入っていただく予定です。 その為、PythonかRubyいずれでも技術をお持ちの方を探しております。

・SQL（Postgresの経験必須、独力でクエリをイチから書ける、解析できれば問題ないです。） ⇒snowflake・GreenPlum・Redshift(AWS)などの各種DWHでの開発経験あるとベターです。 ・Pythonもしくはruby、シェル(bash)のプログラミング経験。 ⇒ruby要員は少ないかと思いますので、python実装経験が豊富であり、ruby案件のご参画でも問題ない方。 ・AWSでの開発経験 ⇒EC2、EMR（spark、hive)、S3、Athena、RedShiftあたりの基本サービス知識のある方。 ・Linux基本操作が可能

【SE】金融機関データマネジメントシステム開発支援の求人・案件

金融機関データマネジメントシステム開発支援業務に携わっていただきます。\n\n主に下記作業をご担当いただきます。\n・データ分析用データマネジメントシステムのクラウド環境移行開発支援\n・お客様先の開発チームに参画し業務対応\n・上流設計対応、または詳細設計、及び実装作業\n・データパイプライン（Apache Spark、databricks、SAS Viya等）を用いた開発業務\n\n開発環境：AWS、GCP\n工 程 ：上流設計、詳細設計、実装、テスト実施

上流工程SE ・データマネジメントシステム基本設計経験 ・クラウド開発経験 ・仕様に関する部門間調整経験 製造SE ・データパイプライン開発経験（Apache Spark、databricks、SAS Viya等）

【SQL】【アナリティクスエンジニア】DWH層のテーブルの設計・開発・保守の求人・案件

国内シェアNo.1のクラウド会計サービス運営企業におけるアナリティクスエンジニア\nとしてご参画いただきます。\n\n【案件内容】\n意思決定をデータドリブンに行っていくために必要なDWH層のテーブルの設計・開発・保守を行っていただきます！\n想定している業務内容は以下になります。\n・DWH層テーブルの設計\n・DWH層テーブルのSQLおよびPySparkを用いた実装\n・DWH層テーブルについての問い合わせ対応・不具合調査\n・DWH層開発環境の設計・開発・保守・運用\n・DWH層開発環境の設計・開発・保守・運用\n\n【開発環境】\n言語：SQL,Python\nＦW：Apache Spark\n環境・ＯＳ：GCP (G...

・実務でのSQL利用経験(1年以上) ・実務でのDWH・データマートの構築経験(1年以上) ・実務でのプログラミング経験(2年以上) ・クラウド環境のDWH利用経験 ・Apache Spark の利用経験 ・git/GitHubの利用経験 ・チケット管理 (JIRA, backlog等) での開発経験

【AWS/GoogleCloudPlatform】マーケ支援の基盤を支えるデータエンジニアの業務委託案件・フリーランス求人

.

データエンジニアリングの経験（データウェアハウス、データパイプライン構築、データモデリングなど） SQLおよび関連するデータベース技術の知識および経験 / クラウドプラットフォーム（AWSやGCP）の知識および経験 / 分析基盤の設計、構築、運用経験 / 各種データストア（MySQL、Reails、Elasticsearchなど）のチューニング経験 / ETLツールやデータ処理フームワークの経験（例: Apache Spark, Airflow, Talendなど） / データ品質管理やデータセキュリティに関する知識

QL/Python/週2~3/フルリモート/国内シェアNo.1のクラウド会計サービス運営企業におけるアナリティクスエンジニア

意思決定をデータドリブンに行っていくために必要なDWH層のテーブルの設計・開発・保守を行っていただきます！ 想定している業務内容は以下になります。 ・DWH層テーブルの設計 ・DWH層テーブルのSQLおよびPySparkを用いた実装 ・DWH層テーブルについての問い合わせ対応・不具合調査 ・DWH層開発環境の設計・開発・保守・運用 ・DWH層開発環境の設計・開発・保守・運用 以下のような方はお見送りになっております...。 ・DWH層の設計・構築経験が読み取れない方 ・クラウドのDWHの利用経験がない方 ・実装メインのため、プロジェクトマネージャーとしてのご経験が主な方 ・自然言語処理、画像処理がメインの方

・実務でのSQL利用経験(1年以上) ・実務でのDWH・データマートの構築経験(1年以上) └要件定義の観点を説明できる 設計の観点を説明できる 実際の設計について参照を説明できる ・実務でのプログラミング経験(2年以上) └スクリプトレベルのもを読み書きできる クラスとかOOPの概念を理解している ・クラウド環境のDWH利用経験 ・Apache Spark の利用経験 ・git/GitHubの利用経験 ・チケット管理 (JIRA, backlog等) での開発経験

【GCP｜経験5年】データ基盤構築支援｜クラウドエンジニア

大手資本が介入したAIスタートアップです。特定の企業へのAIではなく業界全体の改善を目指したソリューションとなります。 一言でいうと、本屋さんがなくなったら困るよね！みんなで頑張ろう！という想いが大事です。 インフラ担当としてクラウド機能の活用からコスト面の考慮、BIに至るまで全般的なアーキテクト面をお任せいたします。 社内には研究開発チームやデータエンジニアリングを行う方（データサイエンティスト）もおりますので、その方々に向けて モデル開発/機械学習のためのインフラ面の構築もお任せいたします。

・GCPもしくはAWS、Azure等パブリッククラウドの設計構築経験（Linuxオンプレでもご相談可能） ・サーバー+ネットワークの構築～運用のご経験 ・クラウド環境におけるインフラ面のセキュリティ対策を検討・導入・運用まで実現可能（ゼロトラスト、DevSecOps等） ・インフラ側全般の設計経験(Kubernetes,DataFlow,Airflow,Cloud Functions,Lamda,Terraform等） ・ミドルウェアの構築～運用のご経験（Spark ML,BigQuery,MySQL、Apache,Flask,FastAPI,Django） ・Python