データ活用基盤において、各種源泉システムからのデータ蓄積を担う ODS(Operational Data Store) と、源泉システムと ODS 間のデータ連携を実現する Data-Hub を中核コンポーネントとして設計・実装します。 基本設計以降の工程を担当し、ETL/ELT パイプラインの設計・構築、バッチ/ストリーミング処理、API 連携の実装、クラウド上での運用まで幅広く対応いただきます。 主な利用技術は Python、Spark、AWS Glue、AWS Step Functions、EMR、Lambda、各種データベースとなります。
・DWH/ODS の設計・開発経験 ・ETL/ELT パイプラインの設計および実装経験 ・AWS を用いたデータ基盤開発（Glue／Step Functions／EMR／Lambda など） ・データベース操作の実務経験 ・バッチ処理／ストリーミング処理／外部API連携の実装経験 ・Python／Spark を用いた開発経験5年以上
案件概要：データ分析基盤構築案件 業務内容： 現状のデータ分析基盤はTalend、RedShiftを用いたアーキテクチャだが 性能限界が見込まれいるため、改善すべき処理や課題の抽出を実施する案件 場所：基本リモート 外国籍：NG
・大量データを扱うバッチ設計 ※現行データ分析基盤(Talend、RedShift)の課題や改善点など抽出可能なこと ・Apache Sparkなどフレームワークを利用した大量データを処理するバッチシステムの設計・開発スキル保有
案件概要：データ分析基盤構築案件(Talend、RedShift、Apache Sparkなど) 業務内容： 現状のデータ分析基盤はTalend、RedShiftを用いたアーキテクチャだが 性能限界が見込まれいるため、改善すべき処理や課題の抽出を実施する案件 場所：基本リモート 外国籍：NG
・大量データを扱うバッチ設計 ※現行データ分析基盤(Talend、RedShift)の課題や改善点など抽出可能なこと ・Apache Sparkなどフレームワークを利用した大量データを処理するバッチシステムの設計・開発スキル保有
概要：大手通信業者様のデータ情報系システム（大規模DWH）を 段階的にクラウドシフトしている案件です。 担当工程：設計、製造、試験の一連タスクを対応 勤務形態：出勤＋在宅の併用型 参画直後の2ヶ月はフル常駐。本番作業時も出社。 出社時は門前仲町駅 面 談：１回web、その他顔合わせの可能性があり 単 価：スキル見合い、140-180h、15分単位、支払サイト３５日、法人契約可
・基本設計～開発、試験工程までの経験が有り この工程範囲を１人称で進められる方 ・チーム特性からある程度自主的に動ける方 ・spark、linux、RDBの開発経験 ＃シェルの作り込みなどLinuxに長けてる必要あり
・新データ基盤の設計・構築（AWS／BigQuery／Snowflake等） ・ETL/ELTパイプラインの改善・最適化 ・データモデル設計／マルチテナント対応 ・データガバナンス、セキュリティ設計・運用、コンプライアンス対応 ・全社業務データ／IoTデータ／行動データの統合管理 ・BIツール連携設計 ・データ基盤運用・最適化、チーム技術育成・レビュー （工程）要件定義、設計、構築、運用、最適化、技術リード （開発環境） 言語：Python／Go／Java クラウド：AWS／GCP／Snowflake IaC：Terraform／CloudFormation／CDK DWH：BigQuery／RDBMS...
・クラウド（AWS／GCP／Snowflake等）での大規模データ基盤構築・運用経験 ・Terraform／CloudFormation／CDK等によるIaC本番運用経験 ・RDBMS／SQLを用いたテーブル設計・ETL開発経験 ・Python／Go／Java等でのデータ処理バッチ設計・開発経験 ・ステークホルダー調整を伴う基盤開発推進経験 ・技術的リード経験 ・セキュリティ／データ品質に関する強い意識 ・マルチクラウド／ハイブリッド構築経験 ・数百万件規模／リアルタイム処理のパイプライン構築経験 ・ETLフレームワーク（Spark／dbt／Dataform／Trocco等）利用経験 ・機械学習を用いた予測...
大手通信企業向けの大規模データ分析基盤における保守・機能拡張プロジェクトです。 AWSを中心に、新サービス導入の技術検討からインフラ構成検討・設計、リリースまで一連の工程を担当します。 直近ではCI/CD、Databricks、チャットボット、コンテナなどの新技術をPOC的に継続導入しています。今回は技術面でのサブリーダーとして、リーダーの補完やメンバーフォローを担える方を募集します。上位からは現在7名参画中です。 ＜想定業務＞ ・AWS環境でのサーバ構築やシステム開発 ・Spark/EMRによるデータ分析・抽出 ・データ集計、手動更新、テストデータ投入 ・AWS Lambdaでのジョブ実行コントロール ほか ＜システム...
Spark ・AWS等クラウドを用いたインフラ設計・構築・運用経験（目安5年） ・サブリーダー経験、またはAWS設計/構築のエキスパート ・汎用プログラミング言語での開発経験（Python／Node.js／Java／Go等） ※ゲーム領域出身でもAWSスキルが高ければ提案可
顧客内製システムにおける自動化開発プロジェクトです。 人手で行っている障害発生時の切り分け作業を、業務フローを統合して自動化する仕組みを開発します。DEVチームに所属し、進捗に応じてQA支援を行う場合があります。 ・対象：データパイプライン（ETL）、サーバレス／マイクロサービス基盤、ワークフロー自動化 ・役割：設計〜実装〜テスト〜運用の推進、フレームワーク／ツール／プロセスの選定、チームリード ・出社：基本フルリモートだが、月1回程度 品川出社の可能性あり
リモート ＜超必須＞ ・Pythonによる開発経験10年以上 ・約5名規模の開発チームリーダー経験 ・開発フレームワーク／ツール／プロセスの選定・標準化の実務経験 ・ETL開発およびデータパイプライン構築経験 ・マイクロサービス／サーバレスアーキテクチャの理解 ・DWH／ビッグデータ実装（ETL等）の理解 ・Pytest等を用いたテストコード実装経験（または相応の知見） ・AWS上でのシステム開発実務経験 ・サーバレス型ワークフロー開発経験 ・AirflowおよびDAGの開発経験、もしくは概念理解 ＜必須＞ ・Pandasを用いた開発経験 ・Kinesisを用いた開発経験 ・Sparkを用いた開発経験 ・Redshiftを用...
大手通信企業向けの大規模データ分析基盤にて、保守開発および新規技術導入を推進するサブリーダーを募集します。 AWSを中心に、インフラ構成の検討・設計からリリースまで一連を担当。CI/CD、Databricks、チャットボット、コンテナ等のPOC的導入・刷新にも関与いただきます。 具体的には、AWS環境でのサーバ構築やシステム開発、EMR/Sparkを用いたデータ分析・抽出、データ集計・手動更新、テストデータ導入、AWS Lambdaによるジョブ実行コントロールなどをお任せします。
Spark ・AWSなどクラウドを用いたインフラ設計・構築・運用の実務経験 ・サブリーダー相当の推進経験、またはAWS設計構築のエキスパートスキル ・汎用プログラミング言語での開発経験（Python／Node.js／Java／Go いずれか）
学生向け学習支援サービスにおけるデータ分析基盤の保守開発をご担当いただきます。 既存システムの仕様を迅速にキャッチアップし、Azure関連技術を活用したシステムの保守および開発に従事していただきます。 【具体的には】 ◆既存データ分析基盤の保守・開発業務 ◆既存システムの仕様把握・キャッチアップ ◆Azure Data Factory、Data Lake Storage、Databricks 等の利用 ◆SQL、Python（PySpark）、Apache Sparkを用いた開発
◆データ分析基盤の構築経験が豊富な方 ◆既存システムの仕様把握・キャッチアップ能力が高い方 ◆Azure Data Factory, Azure Data Lake Storage, Azure Databricks を用いた開発経験 ◆SQL、Python（特にPySpark）、Apache Spark の利用経験
インディバースフリーランスであなたにピッタリの
フリーランス案件が見つかる
7万件以上のフリーランス案件から一括検索
エンジニア・クリエイター・コンサルタント向けのたくさんの案件を一括検索可能です。
あなたの専門性と希望条件に最適な案件を厳選してお届け
プロフィール登録で、あなただけのカスタマイズされた案件情報を受け取れます。時間をかけずに理想の案件を見つけましょう。
インディバースフリーランスであなたにピッタリの
フリーランス案件が見つかる
7万件以上のフリーランス案件から一括検索
エンジニア・クリエイター・コンサルタント向けのたくさんの案件を一括検索可能です。
あなたの専門性と希望条件に最適な案件を厳選してお届け
プロフィール登録で、あなただけのカスタマイズされた案件情報を受け取れます。時間をかけずに理想の案件を見つけましょう。