SNSデータ収集・BigQuery格納パイプライン開発

募集中6ヶ月前

SNSデータ収集・BigQuery格納パイプライン開発

270,000〜420,000/月

作業内容

SNS上の投稿データをAPI経由で取得し、分析用基盤へ蓄積するデータパイプラインの実装を担当いただきます。各SNSのAPIを利用したデータ取得処理の実装、APIのレートリミットを考慮した効率的なデータ抽出フローの設計・構築、取得したRawデータを整形し、BigQueryへロードする処理の実装。格納後のSQL分析やBIツール化は別担当が行うため、「データの流し込み」に集中いただけます。

必須スキル

・Python または Node.js を用いたバックエンド開発経験(3年以上) ・外部API(SNS系APIなど)との連携実装の実務経験 ・BigQueryへのデータ格納(ロード)に関する知識・経験 ・日本語でのスムーズなコミュニケーション能力

歓迎スキル

・SNS API(X API / Graph API等)の利用経験 ・サーバーレス環境(Cloud Functions 等)でのバッチ処理実装経験 ・データパイプライン(ETL)の設計経験

稼働条件

週5日 / フルリモート

面談回数

1

契約形態

業務委託(フリーランス)

開発環境

Python, FastAPI, pandas, Node.js, BigQuery, Google Cloud, Cloud Functions, Cloud Run, Workflows, GitHub, Docker

精算基準時間

64h-96h

募集回数

1回

スキル

バックエンド:
分析:

企業名

サービス/プロジェクト名

詳細スケジュール/リリース時期

現場責任者の雰囲気

開発体制の詳細

詳細は面談でお伝えします。ご相談ください。

一部の情報は非公開の場合があります

案件について詳しく聞いてみませんか?

知りたい内容を選んでください(複数選択可)