Apache Spark × システムエンジニアの業務委託案件・フリーランス求人一覧｜ページ2

Scala／データ分析・アドテクプラットフォーム開発案件・求人

エンジニア向けデータ統合プラットフォームのサーバーサイド開発をお願いいたします。 作業内容イメージとしては下記の内容をお任せする予定です。 ・k8s on GCPを使ったデータパイプライン基盤 (Scala)開発 ・Spark on k8s を使ったパイプライン内のサーバーレスコンピュー...

Scala ・JavaもしくはScalaでの開発経験：3年以上 ・Git / Githubを利用した開発経験：3年以上

【Databricks/Python】某大手企業のデータパイプライン移行プロジェクト

【Python/Databricks】金融機関向けDWH開発支援

金融機関における新データベース構築プロジェクトにおいて、 データ統合（ETL）処理にDatabricksを活用します。 PythonとDatabricksを用いた以下の業務をご担当いただきます。 ・新規データを取り込むジョブの追加開発およびテスト（既存処理を流用予定） ・既存データパイプライ...

・Pythonを用いた業務開発経験2年以上 ・SQLを用いた業務開発経験2年以上 ・システム開発における設計、開発、テストの実務経験3年以上

【Databricks,Datastage,PySpark,ETL／リモート併用】DatastageからDatabricksへのマイグレーション、パイロット検証【ミドル・シニアエンジニア(40代、50代、60代)】の案件

現行ETL基盤（IBM Datastage）からDatabricks（Lakehouse基盤）への移行パイロット検証に参画。 移行可否・移行方式・ツールの有効性を検証。 ・Datastage既存ジョブの構造・処理内容の確認 ・マイグレーションツールを用いたDatabricksへの変換 ・変換結...

・ETL開発の経験（Datastage等） ・Databricks（ノートブック・Workflow・Delta Lake）の利用経験 ・Spark／PySpark／SQLを用いたデータ処理経験 ・データパイプラインの設計・実装経験 ・新技術の検証やPoCに対応できる方

【Python/Java/Node.js】道路マネジメントプラットフォーム開発エンジニア（バックエンド／データ基盤）

道路マネジメント向けプラットフォームのバックエンド開発およびデータ基盤構築を担当いただきます。 要件が流動的な状況での設計判断、データドリブンなシステム設計、複数ソースのデータ統合・モデリングを推進するフェーズです。 API実装、ETL/データパイプライン構築、大量データ処理の最適化、運用を通...

・Python / Java / Node.js のいずれかでの開発実務経験 ・REST API の設計・実装経験 ・SQL および RDB を用いた開発・運用経験 ・Git を用いたチーム開発の経験 ・ETL／データパイプラインの設計・構築経験 ・大規模データの処理・最適化に関する実務経験

【SQL/Python/Azure（Databricks・Data Factory）】商用車営業システム向けデータ基盤開発/リモート併用

商用車の受注から引き渡しまでの業務を支える営業システムにおいて、データ加工・処理・連携基盤の開発を担当いただきます。 Azure SQL、SQL Server、Azure Functions を中心に、DWH 構築やETL/ELTパイプラインの設計・実装、データ品質担保、運用改善まで一連をご対...

・SQLの実務経験（Stored Procedure作成、CROSS APPLY等を用いた高度なクエリ最適化が可能な方） ・Pythonによる開発経験（バッチ/データ処理スクリプト等） ・DWH/データ基盤の設計・実装経験 ・データ加工/集計/可視化に関する実務経験 ・Azure環境での開発/...

【Java/Python/AWS/フルリモート】農業向けIoT機器データ集計・分析基盤リプレース（バックエンド）

農業分野で利用される車両GPSデータの集計・分析加工を行うシステムのリプレース案件です。既存基盤の置き換えに伴い、バックエンド領域を中心にご担当いただきます。 弊社側のリーダー配下のメンバーとして参画し、基本設計から製造・テスト、リリース後の運用補助まで一貫して対応いただく予定です。 勤務は基...

・基本設計工程の実務経験 ・AWS上での開発経験（特にEMRやGlueに関する知見） ・PythonまたはJavaでのバックエンド開発経験

【プログラマー・テスター／システムエンジニア】学術系開発案件 【シニアエンジニア（40~50代以上）、業務委託】

Pythonの実務経験（Pythonの実装が決まった為） Sparkのクラスタ構成を構築した経験 Sparkを利用したシステム開発経験 要件や仕様など顧客折衝を行う立場でのプロジェクト参画経験

【Python／リモート併用】新規データマートDWH構築支援(SQL,Python)

・新規データマートの要件定義 ・ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化 ・データマート作成 ・既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のためのスクリプト・ システム開発運用改善業務 ・デ...

・Python(Pandas)でのデータ分析,アプリケーション開発経験 ・SQL(Windows関数やUNION,副問合せを流ちょうに扱える方) ・AWS分析基盤開発経験 (Glue,Athena,QuickSightの経験,他のAWSサービスにも詳しい方歓迎) ・要件定義経験 ・データマート...

【SQL(ストアドプロシージャ等)】保険会社向け顧客ID採番用ロジック・テーブル作成支援

・ロジック、テーブル作成支援 【想定業務】 ・Azure Databricksを用い、4つの個人情報データを基に顧客IDを採番するロジック・テーブルの作成 ・基本設計、開発、テスト

・SQL（ストアドプロシージャ等）の設計経験 ・IT業界経験3年以上

【Python,Databricks,DWH】金融機関向けDWH開発業務支援（Python／Databricks）【ミドル・シニアエンジニア(40代、50代、60代)】の案件

金融機関向け新データベース構築に伴うDWH開発支援。 DatabricksおよびPythonを用いたETL処理を担当。 既存取り込み処理を流用した新規データ取り込みジョブの追加開発・テスト、既存パイプラインの保守・運用を実施。

・Pythonの業務経験（2年以上） ・SQLの業務経験（2年以上） ・システム開発における設計／開発／テスト経験（3年以上）

金融機関向けDWH開発業務支援

■案件名：金融機関向けDWH開発業務支援 ■期間：4月～6月（延長可能性あり） ■場所：千代田区周辺 ■作業形態：常駐 ■内容： 新データベース構築に伴う ETL 開発（Databricks・Python） 新規データ取り込みジョブの追加開発・テスト（取り込み処理は既存流用） 既...

■必須スキル： ・Python基本設計からの経験2年以上 ・SQL業務経験 2年以上 ・コミュニケーション能力 ■尚可スキル： ・Databricks 経験 ・Apache Spark（PySpark）経験 ・Google BigQuery 経験（簡単なクエリレベル）

【車載システム】次世代ECU制御システム開発／神奈川県横浜市

■大手自動車関連プロジェクトにて、自動運転（ADAS）やコネクテッド領域の開発に伴い、複数ポジションでエンジニアを募集しています ＜募集ポジション＞ PM、MBD、組込みソフト、データ基盤、QA/テストなど、ご経験に合わせて最適なポジションをご提案します。 ＜技術キーワード＞ ・HIL...

・車載システム（自動車業界）での開発・実務経験がある方 【必須ワード】車載システム/自動車

【Azure/Databricks/Azure AI Search】エネルギー会社向けセキュリティ審査支援AIエージェント開発【上級SE】

貴方様には、役員直下のポジションとして、財務・IR・M&A等、幅広い業務を通じて経営に貢献していただきます。上場企業としてのガバナンス強化、持続的な成長に向けた戦略立案から実行支援まで、経営層と密接に連携しながら、経営の中枢を担う重要な役割を担っていただきます。 【具体的には】 ◆ADLS→...

◆Azure上でデータレイク（ADLS）に対するETL/ELTを実装・運用できる ◆閉域/権限制約下での構築・切り分けを自走できる ◆データフロー/運用/テスト観点の設計書を作成できる

【Python】【SE】農機具メーカー向けデータ管理基盤運用・保守、開発支援の求人・案件

農機具メーカー向けデータ管理基盤運用・保守、開発支援にご参画していただきます。\n主な業務内容は以下のとおりです。\n・要件整理支援(機能、非機能要件をまとめる業務)\n・開発支援 等\n\n開発環境：Python、DataBricks、Azure、spark\n\n最寄り駅：堺東駅

・Pythonでの開発の経験

【Python】【SE】保険会社向けデータサービス基盤構築の求人・案件

保険会社向けデータサービス基盤構築にご参画していただきます。\nAWSを活用したデータサービス基盤の構築の案件となります。\nGlue・Lambda（Python、Spark）を用いてのデータ連携処理の構築をご実施していただきます。

・AWS・Glueの構築の経験 ・Python、Sparkを用いての開発の経験

【Python】【SE】大規模データ基盤構築の求人・案件

大規模データ基盤構築業務に携わっていただきます。\n\n既存のTableau環境にDatabricksを追加採用し、\n社内外データを一元的・効率的に管理できる統合データ基盤を構築するPJです。\nデータパイプラインの設計・構築を主要業務としてご担当いただきます。

・大規模データ基盤構築プロジェクトにおける構築実務経験 （データ設計／データパイプライン処理実装等） ・Pythonを使用したデータ分析などの経験

【DWH/Cloud】データエンジニア｜医療・福祉業｜フルリモートのエンジニア求人・案件 プロジェクト管理 / PM / 指揮型PMO / 支援型PMO / プロジェクトサポート/秘書 / システムエンジニア・プログラマー / バックエンドエンジニア(サーバサイド) / スマホアプリ開発(ネイティブ) / フロントエンドエンジニア / 業務系エンジニア / データサイエンティスト / コンサル・プロジェクト管理 / PM (プロジェクトマネージャー) / PMO / インフラ・ネットワークエンジニア / DBA (データベース)管理者 / HTMLコーダー / IT / CRM/SFA/BI / AI / IoT / マーケティング / デジタルマーケティング / データサイエンティスト/アナリスト

【Java/Spring Boot・Angular/フルリモート】建築会社向け会計パッケージの開発・保守

建築会社向けの会計パッケージにおける機能追加開発および保守運用を担当いただきます。 基本設計から結合テスト、リリース後の保守まで一連の工程に参画。フロントはAngularを用いた画面実装、サーバーサイドはJava8/Spring BootでのAPI・バッチ開発が中心です。AWS上の各種マネージ...

・JavaおよびJavaScriptでの実務開発経験3年以上 ・基本設計～テストまでのいずれか工程の実務経験 ・チーム開発（Git等）での開発経験

【Python／SQL】【SE】大手金融機関様向けDatabricks開発の求人・案件

大手金融機関様向けにDatabricksにて開発業務にご参画していただきます。\nDatabricsksでのバッチの開発およびテストをご担当いただきます。\n\n最寄り駅：半蔵門駅

・データ連携処理の開発経験（PythonおよびSQLおよびジョブ） ・1人称でタスクを遂行できる