【エンド直/リモート可】Python｜経験5年｜ビッグデータ解析/分散処理基盤開発支援｜データサイエンティスト

ビッグデータ解析/分散処理基盤開発をお任せします。 今後様々な連携を行っていく上でのデータ基盤開発を強化していく方針であり、その推進をお願いできればと考えております。 ▼具体的には ・AWSを利⽤したビッグデータ解析⽤分散処理基盤のアーキテクチャ選定から設計 ・実装、運⽤フロー⾃動化の提案、実装 ・ビジネスサイドの要望をヒアリング、最適なアーキテクチャの選定 ・各所ニーズ(マーケター、サイエンティスト、機械学習エンジニアなど）に応じたデータセットの作成 ・機械学習エンジニアと協業し、機械学習モデルのAPI環境の実装や、git,CI/CDの仕組み作りと維持 ■工程： ■開発環境： サーバーサイド：Scala, Play Framework, ZIO, Flink, Akka フロントエンド：TypeScript, Vue.js, Nuxt.js, Jest, Cypress, Storybook クラウドサービス：AWS（ECS, EKS, Fargate, Kinesis Data Stream, Lambda, EMR, RDS, Aurora, S3, CloudFront, ElastiCache） 仮想化基盤：Docker, Kubernetes 検索：Elasticsearch, Solr 分析基盤：fluentd, AWS(Glue, Athena, CDK), Airflow, BigQuery, Google Data Studio, Redash プロビジョニング：Terraform, Ansible 監視：DataDog, Kibana ミドルウェア：nginx, MySQL, ClickHouse その他使用言語：Python, Go, Rust 開発ツール：Github, Slack, Intellij IDEA, Jenkins, JIRA, SlackBot ■必須スキル： ・データ処理基盤の設計/構築、または運用経験（1年以上） ・AWS もしくは GCPを利用したサービスの構築経験（1年以上） ・SQL による簡単なデータ分析の経験 ■歓迎スキル： ・データ基盤チームの立ち上げ、チームリードの経験 ・Apache Airflow (Amazon MWAA, Google Cloud Composer) などのワークフローオーケストレーションを利用した開発経験 ・AWS Glue, Amazon EMR などによる ETL 処理の開発経験 ・Amazon Athena, Amazon Redshift, BigQuery などの DWH 製品の利用・運用経験 ・Apache Spark, Apache Flink 等の分散処理フレームワークを利用した開発経験 ・Amazon Kinesis Data Streams, Apache Kafka などを用いたストリーム処理の開発経験 ・アジャイル (スクラムベース）での開発経験 (CSM, CSPO, CSD保有者歓迎) ■勤務地：渋谷 ■募集人数：1人 ■単価：100 ■精算幅：140~180 ■面談回数：1回（弊社同席） ■就業時間：9：00～18:00 ■リモート可否：可（応相談） ■交通費支給あり ■年齢：〜45歳 ■支払いサイト：30日

1回