【Python/BigQuery】データエンジニア_大手企業の大量データの分析 | フリーランスエンジニアのIT案件・求人 (サーバーサイドエンジニア/東京）| テクフリ

大規模サービスのデータを横断的に分析するビッグデータ分析基盤のデータエンジニアです。 担当していただくのは、40を超えるサービスから集めたデータを加工し、分析担当者やデータサ イエンティストにとって使いやすいデータマートの設計、開発、運用です。【業務内容】 ・プロダクト開発 ・分析担当者やデータサイエンティストの打ち合わせ、要件調整 ・新規マートの要件定義、設計、開発 ・結合試験、機能試験、非機能試験等の品質評価 ・集計ジョブの開発・運用 ・BigQuery, Oracle PL/SQL, bash, python, java 等を用いた集計ジョブの開発 ・バッチ処理のJP1/AJSにより定常実行、及び運用・保守 ・Oracle ExadataおよびGoogle BigQuery上でのSQL開発・技術調査および導入 ・クラウド新機能の調査と導入検討 ・既存システムからのマイグレーションプラン策定及び実行 ・プロダクト運用 ・利用者対応 ・障害対応フローの整備 ・障害時対応と再発防止の実施

・3年以上のbashやpythonを用いたバッチ処理の開発・運用経験 ・3年以上の開発物に対するドキュメンテーション作成経験 ・3年以上のエンジニア3名以上のチームでの開発経験 ・2年以上のBigQuery、OracleでのOLTPではないデータ分析のSQL開発経験 ・データマネジメントの経験 ・Git、JIRA、Jenkins等の開発ツールの利用経験 ・単体/結合試験の品質評価の経験・新規データマートの要件定義、設計、開発ができる ・運用を見据えた設計、コーディング、コードレビューができる ・マート領域Ȁおいて全体のデータフローを理解してジョブの設計と運用ができる ・3ヶ月以内のSQL開発案件において、要件定義ができる ・関係者に対して積極的にコミュニケーションを取り、障害の報告や課題解決ができ る ・BQやGCP等の新技術の調査および未経験領域の理解と利用が可能 ・適切なドキュメンテーションを行い、チームで開発に必要な情報共有ができる

・開発品質向上に向けたCI/CD パイプライン構築や、プロダクト運用設計 ・開発生産性の改善に向けたリファクタや、施策提案 ・Docker, Kubernatesを利用したインフラ構築 ・アーキテクトや、テックリードとしてプロダクト開発のリード ・機械学習を用いたデータ活用手法のプロダクト導入 ・既存プロダクトに対するアーキテクチャ刷新および移行 ・SQL可視化用のデータセットの作成やBIへの連携機能、データウェアハウスの開発 経験・システム全体のデータフローを理解し、ジョブの設計と運用ができる ・予測モデルのアプライアンスができる

（160時間 ~ 200時間）

東京 東京都 西東京市

1回