Treasure Data CDP内の開発作業。他システムからのIF受信、テーブル取込み。ワークフロー内のデータ結合、抽出処理。バッチ処理のジョブスケジューリング。詳細設計、製造、単体試験、結合試験、切替作業、現行調査。
・コミュニケーションが積極的で明るく快活な方 ・SQL開発経験者 ・テーブル結合必須（oracle、postgresqlのいずれかの開発経験必要。hive、prestoの経験ありだと可） ・バッチ処理経験者
大手生命保険会社向けの業務分析およびシステム分析業務。要件定義からデータモデリング、データフロー設計、開発チームとの連携による仕様策定や成果物のレビューまで幅広く担当いただきます。日英バイリンガルスキルがある方を歓迎し、Hadoop/Spark環境での分析業務も含まれます。 【技術スタック】 ・データベース：Oracle、MS SQL Server、MongoDB ・ビッグデータ基盤：Hadoop、HBase、Spark ・OS：Linux
・システム開発／BSAとしての実務経験（6〜10年） ・プロジェクト管理経験 ・データ／システム分析スキル（各種言語を用いた分析） ・Oracle、MS SQL Server、MongoDBなどのDB知識 ・Hadoopエコシステム（Hive、HBase、Spark等）の理解 ・Linux、ネットワークの基礎知識 ・優れたコミュニケーション・問題解決能力
Treasure Data CDP上での開発案件です。IF経由で他システムから受信したデータの取込み、ワークフロー内でのデータ結合・抽出、バッチ処理のジョブスケジューリングを担当します。 担当範囲は、詳細設計～製造～単体／結合試験～切替作業、現行調査まで。利用部門との要件・スケジュール・タスク調整などのコミュニケーション対応も含みます。 就業場所は東京ポートシティ竹芝オフィスタワーで、平日9:00-18:00のオンタイム。現場常駐メイン＋在宅併用の働き方です。 面談はWEB1回（スキルにより事前面談の可能性あり）。精算は140-190h（固定の月変動なし）。外国籍は不可で、チーム構成の都合により女性のみの募集です。
・積極的で明るいコミュニケーションができる方 ・少人数体制でのタスク管理やレビュー経験 ・SQL開発経験（テーブル結合必須） ・OracleまたはPostgreSQLでの開発経験 ・詳細設計の実務経験 ・バッチ処理の開発・運用経験
■仕事内容 開発プロジェクトチームに入り、弊社エンジニアと一緒に開発に従事していただきます。 【具体的な業務イメージ】 ■要件定義・設計 ・ステークホルダーとの開発要件のすり合わせ、設計、実装方針の策定 ・レビュー、コードレビューなど品質管理 ・インフラ設計、パフォーマンス最適化 ■新規プロダクト開発 / 既存サービスの拡張開発 ・機能開発における実装とテスト ・保守・運用を含む開発作業全般 ・デリバリー対応、障害対応 下記マインドを持っている方を募集いたします。 ・自立自走、課題や問題のキャッチアップを自ら行える ・関係者を巻き込んで率先して動ける ・コーディング / UTが自立して出来る ・未...
Python ■基本スキル： ・Pythonを用いたWebアプリケーション開発経験（最低3年以上） ・SaaS / cloud環境での開発経験 ・自立自走・自ら課題や問題をキャッチアップできる方 ・アジャイルまたはスクラム開発のご経験 ・AWS環境での開発経験
自社で提供するDMP（データマーケティングプラットフォーム）の開発業務をご担当いただきます。 Ruby on Railsによるアプリケーションと分析、媒体連携用データを保持する Google Cloudのデータ基盤を開発、運用します。 ▼工程 基本設計から実装、保守運用まで実施いただきます。 ビジネス要件はビジネス担当部門が行います。 設計に必要な要件の明確化などのコミュニケーションは適宜行っていただきます。 ▼主な業務内容 ・管理画面の開発、保守、運用 ・分析データ基盤の開発、保守、運用
Ruby ・＜重視＞クラウドデータ基盤を用いた分析、ETLジョブの開発経験 ・Webアプリケーションフレームワーク'Ruby on RailsやDjango等）を用いたWebサービスの開発経験：3年以上 ・Git/GitHubを利用したチーム開発経験
【業務内容】 全社横断のデータ分析基盤上でデータエンジニアリングや利用者支援を行い、既存処理の運用・保守から新規バッチ開発、マイグレーション、メタデータ管理、マニュアル作成まで幅広く対応します。 【作業内容】 ・既存バッチ処理の運用・保守 ・分析用汎用データの新規バッチ処理開発 ・既存処理から新環境へのマイグレーション ・メタデータ登録およびデータカタログ製品の比較検討 ・分析者向けマニュアル作成 ・バリューエンジニアリング検討
必要なスキルは下記ですが、製品知識関連は覚えながらでも調整可能です。 ・ETLツール/SQL/Pythonを利用したAP開発経験 ・お客様とコミュニケーションを取りながらプロジェクトを進めるスキル ・DMBOK等のデータマネジメントの基礎知識 ・Databricks、Hadoop/Hive、Informatica（DEI）の知見
Hive/Hadoopによるビッグデータ分析プロジェクトです。 開発手法はアジャイルを採用しており、コミュニケーションも重視しながら開発を進めています。稼働も安定しているため、残業も少ない現場です。ビッグデータ関連の案件をお探しの方は是非お問い合わせください。
Java11 以上, Play Framework - Javaを使用した開発経験3年以上 - Hive/Hadoopを使用した開発経験 - Linuxに関する基礎知識 - コミュニケーション能力のある方
広告プラットフォームの開発・運用をご担当いただきます。 具体的な業務内容はデータ処理フレームワークおよびテクノロジを使用した大規模なバッチおよびリアルタイムのデータ・パイプラインの構築・保守・運用 、適切なアーキテクチャ選定、および開発・運用プロセスを推進するためのエンジニアリングチーム（または、プロジェクトチーム）のリード、実装における技術選定（アーキテクチャと開発プロセス）および本番システムの品質担保（運用・保守）です。
Java8 以上, Perl, Hadoop, Apache Spark, AWS, GCP - Hadoop、Spark、Kafka、Hiveを使用した開発経験 - データパイプラインの機能- 非機能要件の策定、設計、構築、並びに運用経験 - 後述言語を使用した5年以上のソフトウェア開発経験 （Java、 Python、 Go、 Bash、 Perl etc） - 5年以上のソフトウェア開発経験及び要件定義、仕様策定、実装、テスト、リリース、保守運用まで一貫した開発経験 - データベース設計とパフォーマンスチューニングの経験 - GCPを使用した開発経験がある方（その他クラウドAWSなど検討可） - 英語の読み書きができる方...
累計利用者数5,000万人を超える人気タイトルゲームを中心とした、 大規模データの分析基盤を支えるエンジニアを募集します。 BigQueryやGoogleCloudを活用したデータパイプラインの構築から、 BIツールを用いた可視化、AIエージェントの活用まで、 裁量を持って取り組める非常にやりがいのある案件です。
・BigQueryなどのデータウェアハウスの利用経験がある方 ・BigQueryやSpark、Hiveなどを用いて大規模データをSQLで整形できる方 ・LinuxやRDBMSなどサーバーインフラに関する基礎知識と運用経験がある方 ・AWSまたはGoogleCloudを利用したシステム構築経験がある方 ・AmazonS3またはGoogleCloudStorageの利用経験がある方 ・データレイクやデータウェアハウスの概念を理解している方 ・実務でのプログラミング経験がある方 ・生成AIの最新動向を継続的にキャッチアップしている方 ・AIエージェントを活用した開発経験をお持ちの方
要件定義や業務分析を行い、データモデル設計や実装支援を担当します。 HadoopやSparkなどのプラットフォーム分析も含み、 開発チームと連携しながら仕様説明やテスト支援も行うポジションです。
※下記すべての要件に合致していなくても、いくつか該当していれば土台に乗ります。 ・システム開発やBSAの実務経験6〜10年程度 ・プロジェクト管理経験 ・データ・システム分析スキル（各種言語使用経験） ・Oracle、MS SQL Server、MongoDBなどのDB知識 ・データ構造やマネジメントの深い理解 ・Hadoopエコシステム（Hive、HBase、Spark等）の理解 ・Linuxやネットワークの知識 ・問題解決能力、優れたコミュニケーション力、IT要件への落とし込み能力
Treasure Data CDP内の開発作業にご参画していただきます。\n\n主に下記作業をご担当いただきます。\n・他システムからのIF受信、テーブル取込み\n・ワークフロー内のデータ結合、抽出処理\n・バッチ処理のジョブスケジューリング\n\n・開発\n-詳細設計 / 製造 / 単体試験 / 結合試験 / 切替作業 / 現行調査\n\n・利用部門との調整\n-利用部門との要件調整 / スケジュール調整 / タスク調整など\n\n最寄り駅：竹芝駅
・資料作成能力 ┗Googleのスライド / スプレッドシート / ドキュメントを使って説明を行える ┗システム利用部門との要件調整が可能 ・SQL開発経験 ※テーブル結合必須（oracle、postgresqlのいずれかの開発経験必要。 hive、prestoの経験ありだと可） ・詳細設計経験 ・バッチ処理経験
Treasure Data CDP内の開発作業にご参画していただきます。\n\n主に下記作業をご担当いただきます。\n・他システムからのIF受信、テーブル取込み\n・ワークフロー内のデータ結合、抽出処理\n・バッチ処理のジョブスケジューリング\n\n・開発\n-詳細設計 / 製造 / 単体試験 / 結合試験 / 切替作業 / 現行調査\n\n・利用部門との調整\n-利用部門との要件調整 / スケジュール調整 / タスク調整など\n\n・進捗管理\n-メンバのCDPの開発の進捗管理\n-元請への相談 / 連絡 / 報告\n-クライアント様との会話 / チャットでの各種調整\n\n最寄り駅：竹芝駅
・資料作成能力 ┗Googleのスライド / スプレッドシート / ドキュメントを使って説明を行える ┗システム利用部門との要件調整が可能 ・進捗管理能力 ・SQL開発経験 ※テーブル結合（oracle、postgresqlのいずれかの開発経験必要。 hive、prestoの経験ありだと尚歓迎） ・詳細設計経験
某有名TVアプリにおけるユーザ行動データの設計と管理全般に携わっていただきます。 作業内容 ・施策や機能追加における分析要件のヒアリング ・ログ設計とテーブル設計 ・クライアントエンジニアへログ仕様説明 ・GoogleTagManagerの設定 ・行動ログの発火状況や品質管理
Python ・Pythonでの開発経験：3年以上 ・ログ設計、データ設計経験 ・SQLでデータ抽出(hive,BigQueryなど)
広告技術のDSP開発をお願いします。 本事業部では、各社とのシステム連携により広告を表示しています。 1つのリクエストに対して100ミリ秒で応答を返すという制限(低レイテンシ)と 秒間1万を超えるリクエストを処理(ハイスループット)するシステムを作ります。 メイン言語はScalaを利用し、インフラ環境はGoogleCloudPlatformを利用しています。 エンジニア５人程度のチームでアジャイル開発のプロセスをベースにカンバンなどで作業進捗を確認しながらすすめ、 ドキュメントはコミュニケーションと保守に必要な最低限の情報で作成し、システムの実装、開発、運用をしています。
・Linux / RDBMS / Java / Scala 等を利用した Web アプリケーションの開発経験 ・チーム内でコミュニケーションを行いながら、能動的に開発を進めてゆけるスキル ・ビジネスの要件からアーキテクチャの提案、システムの設計、実装、テスト駆動開発などを行える 以下のスキルから少なくとも2つ ※ 業務経験でなくとも、OSS 活動などの個人での活動でも構いません。 ・Scala の利用経験もしくは関数型言語の利用経験 ・Web フレームワークやライブラリ等の作成経験もしくはカスタマイズ経験 ・アーキテクチャ設計もしくは技術選定経験 ・Hadoop エコシステム（MapReduce, Spark, Hive,...
メディアの収集データを分析してくれるシステムを開発していく案件での人員募集になります。 元請け側のチームに参画し、 維持管理しているシステムの定常業務＋案件が発生したときに対応するメンバーを募集します。 直近だとSnowflakeに移行する案件などが維持管理に移ったりしているのでそういった案件を維持しつつ発生案件に対応していきます。 基本は、Snowflakeの開発案件が多いチームです。 長期的に支援いただける要員を探しております。 ※Pythonとrubyとでそれぞれ案件が複数あり、現状はRuby案件に入っていただく予定です。 その為、PythonかRubyいずれでも技術をお持ちの方を探しております。
・SQL（Postgresの経験必須、独力でクエリをイチから書ける、解析できれば問題ないです。） ⇒snowflake・GreenPlum・Redshift(AWS)などの各種DWHでの開発経験あるとベターです。 ・Pythonもしくはruby、シェル(bash)のプログラミング経験。 ⇒ruby要員は少ないかと思いますので、python実装経験が豊富であり、ruby案件のご参画でも問題ない方。 ・AWSでの開発経験 ⇒EC2、EMR（spark、hive)、S3、Athena、RedShiftあたりの基本サービス知識のある方。 ・Linux基本操作が可能
■案件名： 開発・保守および運用に関する支援業務 ■案件概要： ・データ加工のバッチ開発/運用（データ設計、ETL処理の開発） ・カテゴリ付与などのデータ加工の検討・実装 など ■時 期：即日（面談後、着任手続きに約10営業日掛かります） ■場 所：基本テレワーク（PC受領等の際は、紀尾井町に出社となります） ■単 価：スキル見合い（目安：65～75万円 ※精算あり） ■人 数：1名 ■面 談：2回
■必須スキル ・Pythonの開発経験 ・ETLツールの経験（Airflowの経験があると尚良し） ・talend、SQLのスキル ・リモートワークのご経験 ■尚可スキル ・Hadoop（Hive、Trino） ・機械学習の知見 ・大量データの取り扱い経験 ・RDBの知見
今回は、全事業に関わる基幹系システム間のデータ自動連携システムのローコード開発および運用保守担当を募集しています。 システム担当といっても、要件定義や設計も含めて実施いただく想定です。 購買、販売、就労、給与、会計など複数の基幹系システムを繋ぐ仕組みづくりを担うため、システムの知識はもちろん、 事業内容や経理業務・会計についても理解を深めていくことが求められます。 ビジネスの仕組みを多方面から理解し、どのような方法を取るべきか検討・実行していく仕事のため、 常に新しい学びが必要であるという難しさもある反面、知識の幅が広がり成長できるという大きな達成感も得られます。
・データベースの知識（DB設計、SQLの知識、RDB全体の知識など） ・3年以上のJava、Pythonなどのプログラミング言語を用いた開発業務経験
【案件名】 ・AWSインフラ構築 【案件概要】 ・某損保会社の既存AWSインフラの追加開発や改修等を行います。 【検索キーワード】 ・AWS構築 ・IaC、EC2、IAM、VPC、S3、EBS ・ECS、SecurityHUB、GuradDuty、KMS（尚可） ・DWH、SnowFlake、RedShift（尚可） ・Athena、Glueデータカタログ、Hadoop・Hive（尚可） 【作業場所】 ・基本テレワーク ・PC受取や打ち合わせ等の出社時は豊洲。 ・まれにサーバ設置現場に行くときは多摩センター） 【期間】 8月～9月末（問題なければ延長） 【勤務時間】8h/日 【募集人数】５名 ...
【必須スキル】 ・AWS構築経験 ・AWSの主要機能の知見 （仮想サーバ、ネットワーク、ストレージ、構築機能(IaC)、EC2、IAM、VPC、S3、EBS等） 【尚可スキル】 ・コンテナ（ECS）やセキュリティ（SecurityHUB、GuradDuty、KMSなど）の知見。 ・SnowFlakeやRedShiftなどDWH製品の基盤構築の知見。 ・以下いずれかの機能・技術の知見 ・Athena、Glueデータカタログ ・Hadoop・Hive
業務内容」 1. AWSのデータレイク(S3+Glue data catalog)からBigqueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) (2については本人の意向、能力等を鑑みて判断とさせてください) 開発環境 [言語] Python, Hive, Spark [AWS] EMR, Glue, Athena, Lambda, APIGateway [GCP] BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows [CI・CD・その他] Terraform, CircleCI, GithubActio...
求める能力／スキル 【必須スキル】 AWS上で動作するアプリケーションの開発/保守経験：2～3年 ┗AWSコンソール等を利用しシステムログ/アプリケーションログから課題発見・解決をした経験
地図広告プラットフォーム開発 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】 ★期間：随時～ ★本案件の最新の状況は、担当者までお問合せ下さい。 ※20代〜30代が中心で活気ある雰囲気です。 ※成長意欲が高く、スキルを急速に伸ばしたい方に最適 ※将来リーダーを目指す方歓迎 ★面談回数：1回（2回の可能性あり） ・DWHの構築経験がある方 ・AWSのGlue、Athena、RDS、ClickHouseなどのデータ管理と分析ツールの経験ある方 ・Hadoop,hive,sparkなどの経験がある方 ・データ分析の経験がある方（Python歓迎） ・B...
・DWHの構築経験がある方 ・AWSのGlue、Athena、RDS、ClickHouseなどのデータ管理と分析ツールの経験ある方 ・Hadoop,hive,sparkなどの経験がある方 ・データ分析の経験がある方（Python歓迎） ・BIツールの経験がある方
マーケティングデータ処理開発 【プロジェクト期間】随時～中長期 【開発環境】 -言語：Java、Scala（一部：Python、Ruby） 【日本語ネイティブの方、活躍中！】 【20代・30代・40代、活躍中！】 【出社可能な方、活躍中！】 ★期間：随時～ ★本案件の最新の状況は、担当者までお問合せ下さい。 ※20代〜30代が中心で活気ある雰囲気です。 ※成長意欲が高く、スキルを急速に伸ばしたい方に最適 ※将来リーダーを目指す方歓迎 ★面談回数：1回（2回の可能性あり） ・Hadoop、Hive、Sparkのいずれかを経験2年以上ある方 ・コミュニケーション力がある方 ・広告業界の経験がある方
・Hadoop、Hive、Sparkのいずれかを経験2年以上ある方 ・コミュニケーション力がある方
■案件 ：【Python/AWS/SQL】某有名TV局関連会社のビッグデータ基盤システム業務 ■案件概要 ：・主に大規模データを処理するためのクラウドインフラ、アプリケーションソフトの構築から ビッグデータ基盤システムの構築、開発、保守を行い、データの加工(ETL)等をご担当いただきます。 ・インフラエンジニアやアプリケーションエンジニアといった垣根なく、ご活躍いただくお仕事になります。 ■担当工程 ：基本設計～ ■開発環境 ：[言語] Python,SQL [環境・OS] AWS [ツール] Git ○募集人数 ：複数名 ○勤務地 ：六本木駅 ○作業期間 ：6月～ ○面談回数 ：1回 ○契...
■スキル ：[必須] ・アプリケーション開発経験3年以上 ・SQLを使ったDBプログラミングの開発経験 ・Python、PHP、JAVA、Golangのいずれかの開発経験1年以上 ・AWS等のパブリッククラウドを利用したサービス開発・運用経験 ・Gitなどのソースコード管理ツールの使用経験 [尚可] ・Hadoopエコシステム、HDFS、MapReduce、Hive、Pig、Prestoなどの関連技術の利用経験 ・AirflowやDigDagなどのワークフロー管理ツールの利用経験 ・Redis、MemcachedなどのKVS利用経験 ・Git、Ansible、Jenkins、Chef、Mackerelなど...
【案件名】システム開発エンジニア（ビッグデータ基盤システム担当） 【期間】即日～ 【場所】六本木 【金額】60万～70万円スキル見合い 【精算】140-180h 【人数】1名 【業務内容】 主に大規模データを処理するためのクラウドインフラ・アプリケーションソフトの構築から、 ビッグデータ基盤システムの構築、開発、保守を行い、データの加工(ETL)等をご担当いただきます。 インフラエンジニアやアプリケーションエンジニアといった垣根なく、ご活躍いただくお仕事になります。 【身につく経験】 ・アドテクやクラウド、データ収集／分析関連の最新技術を学び、経験することができる。 ・テレビ局特有の高アクセス環境で技術...
【必須スキル】 ・アプリケーション開発経験（＊実務3年以上としてますが、相当するスキルがあれば検討可なのでその旨ご記載ください。） ・SQLを使ったDBプログラミングの開発経験 ・Python、PHP、JAVA、Golangのいずれかの開発経験（＊実務問わず1年以上） ・AWS等のパブリッククラウドを利用したサービス開発・運用経験 ・Gitなどのソースコード管理ツールの使用経験 【尚可スキル】 ・Hadoopエコシステム、HDFS、MapReduce、Hive、Pig、Prestoなどの関連技術の利用経験 ・AirflowやDigDagなどのワークフロー管理ツールの利用経験 ・Redis、Memcachedな...
■案件 薬局顧客向けレコメンドエンジンの改良 ■概要 分散処理の機能改良に伴う開発 工程：詳細設計、製造・単体試験、結合試験 開発環境 使用OS：Windows、Linux 言語：Java ツール類：Hadoop、Hive、Srring、Riak、Redmine、eclipse、SVN ■期間 5月～中長期 ■場所 上野 ■単金 55万～65万程度※スキル見合い ■精算 140～180h ■人数 3名 ■面談 1回
■スキル 【必須】 ・JavaでのWebシステム開発経験(WebAPIの開発あり) ・詳細設計 【尚可】 ・Hadoop、Hive、Spring、Riakの開発経験
モバイルアプリの解析・マーケティングツールの提供、 アプリの企画・戦略コンサルティングを行っている企業にて 以下の作業を行う。 ・分析に必要なデータパイプラインの構築や中間データの整備 ・統計的手法や機会学習等の技術を用いて設計されたアルゴリズムやモデルの実装
– 統計的手法や機械学習の技術を用いた機能の実装経験 MySQL、BigQuery、Hive、Spark などのデータストアの利用経験 – データ分析を行うパイプラインの設計およびその実装する能力
【案件】 薬局顧客向けレコメンドエンジンの改良 【概要】 分散処理の機能改良に伴う開発 工程：詳細設計、製造・単体試験、結合試験 開発環境 使用OS ：Windows、Linux 言語 ：Java ツール類：Hadoop、Hive、Spring、Riak Redmine、eclipse、SVN 【期間】 5月～中長期 【場所】 上野 【単金】 55万～65万程度※スキル見合い 【精算】 140～180h 【人数】 3名 【面談】 1回
【スキル】 必須: ・JavaでのWebシステム開発経験（WebAPIの開発あり） ・詳細設計 尚可： ・Hadoop、Hive、Spring、Riakの開発経験
【案件】ビッグデータ 分析支援エンジニア 【業務内容】・Hadoopなどに格納されている大規模データの加工、 変数作成処理プログラムの実装。 ・その他演算処理の自動化するための計画、実装業務も担っていた だく。 【場所】東京駅 【期間】即日～長期 【単金】65万～75万程度 ※スキル見合い 【精算】140-180H 【面談】1回
【必須スキル】・プログラミングのスキル(Java, 特にEclipseでの開発経験) ・SQLのご経験 ・Linuxでのシステム設計・構築・運用のご経験 ・Shellスクリプト設計・作成・運用ご経験 ・大規模データの加工処理業務経験。 【尚可スキル】・CI環境での開発経験(Jenkins等) ・分散処理システム（Hadoop, HIve、MPI等）の知識・経験 ・機械学習、コンピューターサイエンス、 統計学などの専門的知識 (Rなど...
【案 件】ビッグデータ分析業務 【内 容】Hadoopなどに格納されている大規模データの加工、 変数作成処理プログラムの実装 【場 所】東京 【期 間】2月～長期 【人 数】1名交代枠 【単 価】70万～75万円（スキル見合い） 【精 算】140-180H 【面 談】1回
【スキル】＜スキル＞ ・Java開発経験 ・大規模データの加工処理業務経験 ＜尚可＞ ・分散処理システム（Hadoop, Hive、MPI等）の知識・経験 ・機械学習、コンピューターサイエンス、統計学などの専門的知識 (Rなどの統計解析言語の経験がある方は優遇） ・Webアプリ開発の経験
◆業務内容 各種通信機器ログの収集及び業務利用開発 ◆顧客 通信事業者 ◆募集要員 開発メンバー 1-2名 ◆期間 2018/2/1-長期を希望 ※最短2018/3末 ◆作業場所 勝どき ◆面談 1回 ◆単価 55万～65万、精算あり（応相談）
◆開発環境/言語/スキル 必須 ・SQL（oracle/Exadata/PostgreSQL） ・shell（sed/awkなど） 尚可 ・ビッグデータ ・hadoop/hdfs/hive/beeline/sqoop
【案件概要】ビッグデータ分析 【業務内容】Hadoopなどに格納されている大規模データの加工、 変数作成処理プログラムの実装 【場所】東京駅 【期間】2月～長期 【募集人数】1名 【単金】70万～85万 ※スキル見合い 【精算】140-180H 【面談】1回
【必須スキル】・Java開発経験 ・大規模データの加工処理業務経験 【尚可スキル】・分散処理システム（Hadoop, Hive、MPI等）の知識・経験 ・機械学習、コンピューターサイエンス、 統計学などの専門的知識 (Rなどの統計解析言語の経験があるとさらに歓迎します。) ・Webアプリ開発の経験
半蔵門 60万～70万／PHPエンジニア／MAツールを活用したシステム開発 勤務地：半蔵門 期 間：4月（又は3月末）～6ヵ月（延長可能性あり） 単 価：60万円～70万円（月額） 時間幅：140H-180H 面 談：1回 ＜業務内容＞ MAツールを中心に、DMPやBI、CMSなど幾つかのサービスを組み合わせており、それらサービス間の連携処理やサービス内のシステム設定を行っていただきます。 ※要件を聞き、自走できるレベルでしたらPGでも問題ございません
＜必須スキル＞ ・PHP又はRuby経験3年以上 ・企画要件を聞きながら、一人でも開発を進められる方 ・直近でのWEBサービス開発経験 ＜尚可スキル＞ ・AWSでのインフラ構築、運用経験 ・Hive
【案件①】 ◆業務内容 各種通信機器ログの収集及び業務利用開発 主に小規模短期開発の案件が多く、開発スピードを求められます ◆顧客 通信事業者 ◆募集要員 開発メンバー ◆期間 2018/4/16- ※最短2018/6末（継続の可能性あり） ◆作業場所 勝どき ◆面談 1回 ◆募集人数 3人 ◆単価 50万-75万、精算あり（スキル見合い）
◆開発環境/言語/スキル ・Java ・ビッグデータ ・hadoop/hdfs/hive/beeline/sqoop ・SQL（oracle/Exadata/PostgreSQL） ・shell（sed/awkなど） ◆その他 Javaなどの高級言語もしくはshellでの開発経験、 SQL開発経験必須。日本国籍を希望。プロパと共に作業。 hadoopなどビッグデータ開発経験があると尚可。 課題を自身で調査し解決出来る方を希望。
14万件以上のフリーランス案件から一括検索
エンジニア・クリエイター・コンサルタント向けのたくさんの案件を一括検索可能です。
あなたの専門性と希望条件に最適な案件を厳選してお届け
プロフィール登録で、あなただけのカスタマイズされた案件情報を受け取れます。時間をかけずに理想の案件を見つけましょう。
単価相場
Hive案件を、単価相場・働き方・担当工程の観点で整理しました。求人一覧を見る前に、募集傾向と単価帯の目安を確認できます。
Hive案件は、単価だけでなく担当工程、働き方、求められる周辺スキルによって条件が大きく変わります。求人一覧では、報酬レンジとあわせて開発フェーズ、リモート可否、稼働日数を確認すると、自分に合う案件を見つけやすくなります。
Hive案件は、データレイクやDWH上の大量データをSQL（HiveQLを含む）で加工・整形し、分析やプロダクト機能に渡すデータパイプラインを作る仕事が中心です。ログ設計やテーブル設計、他システムからのデータ取り込み、結合・抽出処理など、データの「入口から使える形にする」工程を担う案件が多く見られます。
あわせて、バッチ処理のジョブスケジューリングやワークフロー開発、保守エンハンス、移行（例：データレイクから別DWHへ）など運用寄りのテーマも目立ちます。Spark/Presto/BigQueryなどと併用され、要件調整や成果物レビューまで含めて横断的に動く役割を期待されることがあります。
一部では、広告配信やゲーム、テレビ視聴データなどの大規模分析基盤で、リアルタイム処理（KafkaやStreaming）やインフラ運用改善（EMR上の分散基盤）に踏み込む案件もあります。アプリケーション開発（管理画面/API）から集計基盤アクセスまでをつなぐ立ち位置もあり、データ基盤とプロダクトの距離が近い現場ほど裁量が広がりやすいです。
必須としてまず重視されやすいのは、SQLを用いたデータ抽出・集計・結合の実務力です。求人では、テーブル結合を前提にクエリを自力で組み立てられること、既存クエリを読み解いて改修できることが求められやすく、Hiveは「Hive単体」よりもSQLベースのDWHを扱った経験の一部として見られる傾向があります。
次に、バッチ処理やデータパイプラインの設計・実装・テスト・運用の経験が重要になります。詳細設計から単体・結合試験、切替や現行調査までを担当する案件もあり、開発の一連工程を踏めることが応募判断の軸になりやすいです。データ品質の担保や、ログ/テーブル設計といったデータモデリング寄りのスキルが必須になるケースもあります。
加えて、Linux環境での開発・運用経験や、チーム内外との調整を含むコミュニケーションが要件に入ることが多く見られます。特に利用部門との要件・スケジュール調整、説明資料の作成などが発生する案件では、技術力に加えて「相手に伝わる形で整理する力」が必須スキルとして評価されます。
歓迎されやすいのは、Hiveと同じくSQLで扱う分散クエリエンジンやDWHの利用経験です。Presto（Trino）やBigQuery、Snowflakeなどの経験があると、実行基盤が変わる移行・併用の現場で立ち上がりが早くなります。Hive Metastoreなど周辺コンポーネントの理解が求められる、基盤寄りの案件も一部に見られます。
また、ワークフロー/ジョブ管理の知見は強い武器になります。DigdagやAirflow、Cloud Composer、Workflowsなどを用いたスケジューリングやymlでのジョブ定義、ETL/ELTの設計経験があると、単発の集計よりも「継続運用されるパイプライン」を任せてもらいやすくなります。データ移行やEOSL対応など、調査から計画・実装までを進める場面でも有利です。
さらに、クラウドやIaC、コンテナ、監視といった運用強化に関わるスキルが歓迎される傾向があります。Terraformなどで環境差分を管理できる、CI/CDでデータ処理のデリバリーを整える、パフォーマンス計測やモニタリングを行えると、データ基盤の改善テーマを持つ案件で評価されやすくなります。
Hive案件で評価につながりやすいのは、「大量データを前提にした設計と改善」の経験です。数千万レコード規模の抽出・加工や、複数テーブルを跨ぐ集計を継続運用する中で、クエリの意図を保ったまま読みやすく整理する、処理時間やコストを意識してチューニングする、といった実績があると強みになります。
既存システムの保守・エンハンス、移行、バージョンアップ対応の経験も評価されやすい領域です。新規開発よりも、影響調査→設計→実装→テスト→リリースまでを安全に進める力が問われる場面があり、ログやアプリケーションログから課題発見し解決した経験は、データ基盤運用系の案件で特に刺さります。
加えて、非エンジニアや他チームと要件をすり合わせ、仕様や成果を説明できる経験は、役割を広げる鍵になります。分析要件のヒアリング、施策向けセグメント抽出、KPI設計、レポート作成などが含まれる案件では、単にクエリを書く以上に「意思決定に使える形に落とす」力が評価されやすいです。
HiveはHadoopエコシステムの文脈で使われることが多く、Spark、HBase、Kafka、Presto（Trino）などと並んで登場しやすいです。クラウドではAWS EMRやGCP Dataprocのようなマネージド基盤上で扱うケースが見られ、HiveQLの理解に加えて、分散処理の前提（データ形式や実行特性）を押さえていると参画後のキャッチアップが速くなります。
データ基盤の周辺には、BigQueryやRedshiftなどのDWH、S3やGCSなどのストレージ、Glue Data Catalogのようなメタデータ管理が組み合わさる構成が見られます。データ移行案件では、ソースと移行先が混在する期間が発生しやすく、同じSQLでも方言差や関数差を踏まえて切り替える力が求められます。
運用・開発のツールとしては、GitHub/GitLab、CI（CircleCIやGitHub Actions）、IaC（Terraform）、ワークフロー（Digdag、Airflow、Cloud Composer）などが登場します。単発の手作業ではなく、再現性のあるジョブ運用に寄せる現場ほど、リポジトリ運用やリリース手順の理解が重要になります。
まず確認したいのは、Hiveが「主要な実行基盤」なのか「SQL基盤の候補の一つ」なのかです。求人にはHive/Presto/BigQuery/Snowflake等が並ぶことがあり、実際に主戦場がどこかで求められる知識が変わります。HiveQLの作成が中心なのか、移行や併用でクエリの書き換えが多いのかを面談で具体化するとミスマッチを減らせます。
次に、担当範囲がデータ加工だけか、ワークフローや運用改善まで含むかを見極めましょう。Digdag/Airflowなどのジョブ設計、監視・通知、障害対応、EOSL対応の有無で求められる動き方が変わります。詳細設計〜試験〜切替まで任される案件では、手順化やレビュー、リスク整理まで含めた進め方ができるかが重要です。
最後に、要件調整の相手と成果物の形式を確認するのが効果的です。利用部門との調整や、KPI/施策に直結するセグメント抽出、ダッシュボード移行などが含まれる場合、説明資料やレポート作成がセットになりやすいです。反対に、基盤運用改善寄りなら、インフラ担当との連携や運用手順の整備比率が高くなるため、得意領域に合うかを確認しましょう。
求人を見る限り、Hiveは単独の専門技術というより、データレイク/DWHを支えるSQL基盤の一部として、引き続き実務で使われています。特に、EMR/Dataprocなどのマネージド環境や、Presto（Trino）と組み合わせた構成が見られ、既存基盤の運用改善や移行・統合の文脈で需要が続きやすい領域です。
また、データ活用が施策やプロダクト改善に直結する現場では、ログ設計やテーブル設計、品質管理といった上流の重要度が増しています。HiveQLで集計できるだけでなく、データの意味を保って加工し、再利用可能な形で提供できる人材は、データエンジニア寄りのポジションで評価されやすいです。
加えて、クラウド移行やワークフロー整備、CI/CDやIaCによる運用標準化など、「運用できるデータ基盤」を作る方向の案件が見られます。Hive経験を軸に、Sparkやワークフロー、クラウド運用の経験を積むことで、分析支援から基盤構築・運用改善まで対応範囲を広げやすいでしょう。
HiveQLでのデータ抽出・結合・集計を自力で設計し、バッチとして定期実行できることが伝わると応募判断が進みやすいです。加えて、テーブル設計やデータ品質の確認、既存ジョブの改修経験まで示せると、運用を含む案件にも適合しやすくなります。
評価されやすいです。求人ではHiveと並んで複数のSQLベースDWH/クエリエンジンが登場しており、方言差や実行特性の違いを踏まえて移行・併用できる経験は強みになります。特にデータ移行や基盤整備では、特定製品の経験より「切り替えを成立させた経験」が重視されます。
参画余地はあります。データ加工・抽出、ワークフロー運用、基盤保守など、必ずしもWebアプリ開発が中心でない案件が見られます。一方でPythonやJavaなどで周辺処理を書く場面もあるため、SQLを軸にしつつスクリプト開発やLinux運用の実績を補足できると選択肢が広がります。
分散基盤の運用維持管理、ログからの課題特定、ETL基盤としての設計理解がポイントになりやすいです。Hiveのクエリだけでなく、クラウドのマネージドサービス上でどう動いているか、障害時にどこを見て復旧・改善するかまで説明できると評価されやすくなります。
14万件以上のフリーランス案件から一括検索
エンジニア・クリエイター・コンサルタント向けのたくさんの案件を一括検索可能です。
あなたの専門性と希望条件に最適な案件を厳選してお届け
プロフィール登録で、あなただけのカスタマイズされた案件情報を受け取れます。時間をかけずに理想の案件を見つけましょう。