Glueの業務委託案件・フリーランス求人一覧｜ページ16

【AWS】IoTデータ分析基盤（レイクハウス）の設計・構築・テストの求人・案件

AWS上にIoTデータを集積したレイクハウスを設計・構築いたします。 設計・構築の依頼はAWS Glue、StepFunctionsによる設計・構築、テストが依頼範囲となります。 データ規模が大きいシステムのため、AWS Glue、Sparkの技術に明るく性能面、コスト面から最適化のアプローチができる方を希望します。

【AWSなど】エンドユーザー内におけるデータ分析・基盤構築支援の求人・案件

■データ分析基盤チーム エンド会社が提供する各プロダクトからのデータ収集、加工・集計対応。 その後可視化、分析結果からの将来予測など。 データレイク、DWH。

【分析基盤エンジニア】医療業　分析基盤刷新業務の求人・案件

概要： 登録者数40万人の電子お薬手帳の調剤データ、購買データといった パーソナルヘルスレコードから ビジネスにつながるインサイトを探し出すプロダクトにおいて、分析基盤を刷新いただけるエンジニアを募集しています。 業務： ・DWH/ETL/データマート設計構築 ・データパイプラインの自動化 ・Isue対応、技術調査 ・上記に付随するドキュメント作成、MTG対応 環境： AWS（EC2/S3/Redshift/Glue),Tableau,Python

【Python】システム追加開発・運用保守の求人・案件

大手通販会社の発注業務に関わるシステム運用保守・ならびに追加開発をご支援いただきます。 クライアントの発注グループが利用するシステムにおいて、 データ登録ミスや基幹システムとのデータ不整合が起きた際に、調査・原因分析・対処（暫定、恒久）などを実施いただきます。 また、月末や月初に実施する月次処理（運用保守チームが担当する部分）や、 発注グループが担当する月次処理の結果を確認し、問題があればご対応いただきます。 システム追加開発のニーズもあるため、新規画面作成や既存システム改修もご担当いただきます。 クライアント社員（リーダ）の元、1人称でご担当いただきます。 AWSのサーバレスを中心とした技術がメインとなり、採用する技術を提案...

【AWS】製造業向けデータ分析基盤構築・社内向け研究開発の求人・案件

・CI/CD環境構成およびライフサイクルの自動化の範囲決定におけるアドバイスの実施 ・上記に必要な検証環境構築作業および要件定義の資料化 ※上記取り組みを下記の①顧客案件および②社内研究開発の作業として行います ①製造業向けデータ分析基盤構築：要件定義 ・クライアントの持つデータ分析基盤の構築ソリューションをベースに顧客向けにシステムを構築する ・AWS Glueを中心したETL/ELT機能とBIツール（Power BI）、DWH（Snowflake）が主な構成要素となる ・要件定義の作業になるため、クライアントとともに一緒に検討を行える方がベター ・今のところ、下記のようなサービスが必要なのではと思案中 AWS Glue...

【Python】顧客社内データ可視化PJの求人・案件

ヘルスケア関連事業を展開されているお客様内で、社内データの可視化PJがスタートしております。 主な作業内容として、各種SQLサーバ－から必要データをDWHに取込み、 QuickSightに流し込むまでをユーザーヒアリングを行いながら 実施していただく予定です。

【SQL/Python】新規データマート作成の求人・案件

・新規データマート要件定義、既存集計フロー効率化 ・ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります ・データマート作成 ・既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のためのスクリプト・システム開発運用改善業務 AWSのGlue・Athena等を使用し、SQL・Pythonでコーディングし、S3にデータレイク、データマートを構築 既存の基盤改修・改善 ・データマート日次運用保守業務 【現場環境】 ・プログラミング言語：　Python ・ライブラリ：　PySpark, pandas ・データベース：　AWS RDS (SQL...

【Python3/SQL】某大手小売企業様向け/データレイク基盤構築プロジェクトの求人・案件

１．新アーキテクチャ対応移行作業（単体テスト、結合テスト、システムテスト） ２．新アーキテクチャ対応移行作業（移行テスト、パフォーマンステスト、運用テスト） ３．既存ソースコードの修正（新アーキテクチャ対応移行作業）（AWS Lambda、AWS Glue）

【Python3/SQL】某大手携帯会社向けDWH基盤構築プロジェクトの求人・案件

ETL処理（設計、実装、単体テスト、結合テスト、システムテスト）

【SQL】トライネットシステム開発支援の求人・案件

■開発環境 プログラミング言語：Python ライブラリ：PySpark, pandas データベース：AWS RDS (SQLServer), AWS Athena(trino) 環境・OS：AWS (Amazon Web Services), AWS Lambda, AWS Glue BIツール：QuickSight ■業務内容 ・新規データマート要件定義、既存集計フロー効率化 ユーザの要望を聞いて、新しいデータマートを作成したり既存の集計フローを自動化することで効率化を図ります ・データマート作成 既存帳票(Excel,CSV)からSQL作成、BIでの可視化 ・データのETL処理やETL処理のための...

【DWH】土地・建物情報データ連携基盤構築の求人・案件

土地・建物に関する情報の収集・クレンジングを行うデータ連携基盤(データレイク/DWH)の構築

【Scala/Java/Pythonなど】大手広告代理店におけるデータ基盤の開発、運用、保守の求人・案件

【業務内容】 大手広告代理店が展開しているインターネット広告代理店業における、膨大な広告データを収集・蓄積したデータレイクからデータを展開するためのデータ基盤（ETL処理、DWH、DM）の開発、運用、保守をお願いします。 【ポイント】 データレイクが取り扱うデータ量は数十TB/月を誇り、毎日数10億単位のレコードを蓄積しているため、そんな大規模データと向き合った開発にチャレンジすることができます。 複数のプロダクトを管理しているチームのため、様々な技術を習得することができます。 【開発チームと配属先について】 当事業部には現状で約60名のエンジニアが在籍しており、複数のチームに分かれて開発を進めています。 今回お願いしたいポジ...

【Python/SQL】生保システムの開発の求人・案件

生保システムの開発（開発、結合テストなど） ※現状ホスト（COBOL）で行われている業績情報システムの夜間バッチ処理をAWS環境にて再構築している。 ※現在の工程はITであり、現新比較を行って不具合箇所の原因調査、及び改修・テストがメインとなる。 ※8月の本番稼働後は、運用保守、及び残機能の開発を予定している。 ※体制11名 ・利用サービス：Glue（AWSのETLサービス） ・利用データ形式：parquetファイル(AWS内処理)、CSVファイル(外部連携) ・ジョブ制御ツール：Systemwalker ・ファイル転送ツール：HULFT

【Go/AWS】自社MA基盤開発_サーバーサイドエンジニア/フルリモート

・某ITメガベンチャーが提供している各種サービスのマーケティングオートメーション実現に向けたプロダクト統合基盤開発に携わっていただきます。 ・内製アドサーバー/メルマガ基盤/お知らせ通知の開発運用保守 訴求を促すコンテンツ配信の新規機能追加 ユーザーデータを利用したセグメント配信を実現するための開発運用 ・内製MA基盤新規開発 現状存在しているプロダクト（内製アドサーバー、メルマガ基盤、お知らせ通知等）の 統合マーケティングオートメーションを実現するための仕組み化 各種機能の新規開発（配信基盤、管理画面、トラッキング基盤）

【AWS】データ分析基盤構築PJの求人・案件

・会計ソフトメーカーにて情報を一元管理・可視化するデータ分析基盤の構築を計画しております。 業務内容として、AWS環境上にて各システムからデータを収集/加工するための調査・設計・実装やBIツールと連携してデータを可視化する機能の設計・実装まで広範に渡り対応して頂きます。

【Python】バックエンドエンジニアの求人・案件

エンドクライアントを支援するサービスのダッシュボードのデータベース設計、API開発、ETL処理の開発をする業務をお願いします。 [具体的な業務] ・RDBのデータベース設計 ・Glue JobでPythonを利用したETL処理の設計・開発 ・API Gateway、Lambdaを利用したAPI開発 ・技術的知見からの、プロダクトオーナと協調した仕様策定 ・AWS関連リソースのより積極的な活用 ・git flowベースの開発進行

【Java】データ基盤(AWS)エンハンス開発チームの求人・案件

自動車大手のお客様にて開発中のデータ基盤（AWSのESK上で構築）に関連するエンハンス開発や追加要求に対する周辺システムの開発 データ収集・分析・可視化・新規サービスへの情報提供・管理機能など PJ規模 チーム単位で５～８名程度のチームが複数8チームほど存在。 このチームのどこかに参画頂く予定

【Python/SQL】AWS/ETL処理開発の求人・案件

小売業様向けに、AWS環境でETL処理の追加開発を行う Amazon RDS/Redshiftに格納されたデータの読み込み 上記データを用いたAWS Glue(Python+SQL)でのETL処理の開発 EC2上に配置されたファイルのAWS Lambda(Python)を用いた取り込み処理の開発 設計書、報告用資料の作成 (リーダのみ)顧客との各種折衝、メンバの管理

【Python/ShellScript/SQL】インフラメンバー募集の求人・案件

◆概要 持ち帰り案件のインフラメンバーとして参画いただきます。 基本的には、チームとして複数の案件をご対応頂くことになる想定です。 ◆初めに参画する可能性が高い案件 ウェブマーケティング事業を行っている企業様向けの、ビッグデータ分析基盤の運用、保守開発案件。 AWS上に構築しており、各種AWSリソースの構築や、データパイプライン（データ取り込み、データ加工等）のジョブの実装などを行っています。 ◆開発ツール ・Bitbucket　・Confluence　・WorkSpaces ◆確度が高くなるAWS経験 ・ECS　・Glue　・Athena　・LakeFormation　・CloudFormation　・Secre...

【分析基盤エンジニア】データ分析基盤実装案件

携帯キャリア子会社でのデータパイプラインのPythonでの実装作業です。 ・AWS：Glue, Lambda, StepFunctions, Redshift, Redshift Spectrum, IAM, SageMaker, S3, EC2, CodePipeline, CodeDeploy・GCP：BigQuery, GCS, CloudFunction, CloudComposer,・DB：Redshift,PostgreSQL,Oracle,MySQL・リポジトリ：Github Enterprise,CodeCommit・コラボレーションツール：JIRA, Confluence, Backlog・コミュニケーション...

【Python/リモート】バックエンド・データエンジニア募集

大手飲食業のお客様に向けたデータ支援をいただきます。 原価や売上などの情報を利用し、データパイプラインの開発等を担当いただきます。 現場内にてデータエンジニアとして業務ご支援をいただきます。 ※データサイエンティスト/アナリストではなくデータエンジニアの募集となります 開発環境: Python, Java,EMR, Spark, PySpark Redshift, BigQuery,AWS Glue MySQL, PostgreSQL

【Python/リモート】バックエンド・データエンジニア募集

大手飲食業のお客様に向けたデータ支援をいただきます。 原価や売上などの情報を利用し、データパイプラインの開発等を担当いただきます。 現場内にてデータエンジニアとして業務ご支援をいただきます。 ※データサイエンティスト/アナリストではなくデータエンジニアの募集となります 開発環境: Python, Java,EMR, Spark, PySpark Redshift, BigQuery,AWS Glue MySQL, PostgreSQL

データレイク構築案件/Python/秋葉原駅/フルリモート

某大手小売企業様向けのデータレイク基盤構築プロジェクトになります。 【主な作業内容】 １．新アーキテクチャ対応移行作業 （単体テスト、結合テスト、システムテスト） ２．新アーキテクチャ対応移行作業 （移行テスト、パフォーマンステスト、運用テスト） ３．既存ソースコードの修正（新アーキテクチャ対応移行作業） （AWS Lambda、AWS Glue）

SEO関連サービスシステムの開発、運用/Scala/JAVA/kotlin

・Airflow を活用した、検索キーワードの組み合わせ群の追加や更新、およびキーワード同士の関連性を管理する一連のシステムの開発、運用を実施します。 ・Scala を用いた API 開発、運用を実施します。 ・スクラム開発でプロダクトオーナーやチームメンバーと相談しながら要件定義、設計、開発、運用まで、一気通貫で実施します。 サーバーサイド：Scala, Play Framework, ZIO, Flink, Akka フロントエンド：TypeScript, Vue.js, Nuxt.js, Jest, Cypress, Storybook クラウドサービス：AWS（ECS, EKS, Fargate, Kinesis D...

社内データ分析支援(DB) - フリーエンジニア IT 案件 求人【エンジニアルーム】ITフリーランス ITエンジニア IT個人事業主 仕事 転職 募集

【社内データ分析支援】★ 案件概要：社内データを用いた分析活動について、1業務部門が直面する課題をシステム部門側で解決する。 また、当該活動を通じて業務部門がSelf-BIを進める際の普遍的なプロセスを確立する。 作業内容：データ連携パイプラインの設計・開発サポート 業務部門側で実施している、Glue DataBrewを利用したPOCのサポート業務 PMが他部門との調整を進める中で随時必要になる、データ構造や中身の調査業務

フルリモート【Python/AWS/GCP】自社データインフラのデータ移行作業

・某ITメガベンチャーにて自社データインフラグループのデータ移行作業を担当頂きます。 1. AWSのデータレイク(S3+Glue data catalog) → BigQueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) (2については応募者の意向、能力等を鑑みて決定) 技術環境 O S ：Linux 言　語 ：Python, Hive, Spark Cloud ：AWS, GCP AWS　 ：EMR, Glue, Athena, Lambda, APIGateway GCP　　：BigQuery, GCS, Pub/Sub, Dataflow, CloudCo...

フルリモート/Python/Hive/Bigqeryデータ基盤整備

業務内容」 1. AWSのデータレイク(S3+Glue data catalog)からBigqueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) (2については本人の意向、能力等を鑑みて判断とさせてください) 開発環境 [言語] Python, Hive, Spark [AWS] EMR, Glue, Athena, Lambda, APIGateway [GCP] BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows [CI・CD・その他] Terraform, CircleCI, GithubActio...

フルリモート/Python/AmazonRedShift/某大手小売企業様向けのデータレイク基盤構築プロジェクト

＜作業内容＞（上から優先度が高い順） １．新アーキテクチャ対応移行作業 （単体テスト、結合テスト、システムテスト） ２．新アーキテクチャ対応移行作業 （移行テスト、パフォーマンステスト、運用テスト） ３．既存ソースコードの修正（新アーキテクチャ対応移行作業） （AWS Lambda、AWS Glue）

金融系会社向けAWS環境のデータ基盤構築(AWS) - フリーエンジニア IT 案件 求人【エンジニアルーム】ITフリーランス ITエンジニア IT個人事業主 仕事 転職 募集

【金融会社向けAWS環境のデータ基盤構築】★ ・金融系プロジェクト・AWS環境のデータ基盤構築支援 （ご担当工程） 構築、テスト、本番リリース （作業環境） AWS各種サービス EC2、Lambda、RDS、Glue、S3 クラウドファーストな環境

【Python/AIエンジニア】新規事業における機械学習エンジニア

【業務概要】 新プロダクトの機械学習エンジニアとして、プロダクト立ち上げを担当して頂きます。 現在MVPの開発段階のため、ご参画頂くタイミングでは本番リリースに向けたβ版開発や機能拡充、ブラッシュアップ、本格ローンチとプロダクトの成長をエンジニアという立場から担って頂きます。 【具体的な業務】 新プロダクト開発において、以下のような業務に従事していただきます。 機械学習アルゴリズム選定、モデルチューニングのためのEDA 機械学習アルゴリズムの設計・実装 モデルで利用するデータ・特徴量生成のためのパイプライン開発 機械学習タスクとしては時系列予測、他クラス分類が当面のターゲットになります。プロダクトの成長に伴って自然言語処理も取...

【AWS/データエンジニア】顧客データベース次世代化プロジェクト

【概要】 ・旧データベースの内容を新データベースに名寄せを行うプロジェクト 【対応内容】 ・データの名寄せ ・データベースの論理設計 ・データクレンジング処理プログラムの作成 ・SQL速度高速化