スタイル・エッジ技術ブログ

士業集客支援/コンサルティングのスタイル・エッジのエンジニアによるブログです。

社内データを意思決定の「資産」へ。Analytics Engineerとして挑むデータ基盤の裏側と技術スタック

はじめに

こんにちは。システム事業部データインサイトセクションのyamamonです。

未経験からエンジニアとして入社し、現在は3年目になります。BIツールを用いた可視化業務やデータ分析基盤の構築を担当しています。

入社当初、私は「データ分析」といえば、ある程度整ったデータを対象に高度な分析や可視化を行い、ビジネスに新たな気づきを与えることがメインの業務だと考えていました。

しかし、実際のプロジェクトを通じて痛感したのは、「分析以前の『データ整備』にこそ、解決すべき本質的な課題がある」という現実でした。場所も形式もバラバラなデータを、分析可能な状態に持っていくまでのエンジニアリングこそが、組織の意思決定スピードを左右していたのです。

そこで私たちのチームでは現在、単なる分析担当ではなく、技術の力でデータを資産化する「Analytics Engineer」という役割を掲げ、基盤の刷新にも取り組んでいます。

本記事では、私たちがいま取り組んでいるデータ分析基盤の技術スタックと、ビジネスとエンジニアリングを繋ぐこの職種の業務内容についてご紹介します。

データインサイトセクションのミッション

私たちの本質的なミッション。それは、「社内に散らばる膨大なデータを、経営判断のための『意味のある情報』に整えること」です。

「データ分析」と聞くと、整然と並んだ数字を解析するスマートな光景を想像するかもしれません。しかし、私たちの現場はもっと人間臭く、手触りのある課題に満ちています。

スタイル・エッジが支援する複数の事業から発生するデータは、数億行にも及びます。それらは形式も保管場所も異なる、膨大な「未整備のデータ」として点在しているのが現状です。

これらをただ集めるだけでなく、エンジニアリングの力で「意思決定のための共通言語(資産)」へと再構築することこそが、私たちの役割です。

本記事では、私たちがどのような技術を使ってこの課題に取り組んでいるのか、その裏側をご紹介します。

私たちの職種:Analytics Engineer

私たちのチームでは、データ活用が進むテック企業で標準となりつつある「Analytics Engineer」という職種を取り入れています。

これは、データアナリストとデータエンジニアの中間に位置し、インフラ構築からデータモデリング、可視化までを一気通貫で担う役割です。

現場からの「この指標をモニタリングしたい」「多角的な切り口で分析したい」という具体的なビジネス要望に対し、SQLやPythonを用いて「再利用可能なデータモデル」を実装・運用します。

システムごとに異なるデータ構造や定義の違いを吸収し、誰もが迷わずデータを使える環境を整える。それが私たちの仕事です。

技術スタックとデータパイプライン

私たちのデータ基盤は、Google Cloudを中心に構築されています。データの発生源や性質に合わせて、最適な収集方法とパイプラインを選択しています。

私たちが日々どのようにデータと向き合っているのか、実際のプロジェクト事例(広告データ連携、Excel等ファイルデータ取得自動化、予実管理など)を交えて、①~③のデータの流れ(パイプライン)をご紹介します。

① 【収集 - Ingest】 基幹同期と個別連携

データ活用の第一歩は、あらゆるデータをBigQueryに集約することです。ここでは主に2つのアプローチをとっています。

基幹データの同期 (Datastream)

データ量が多い基幹システム(顧客管理DBなど)については、バックエンドのAmazon RDSからGoogle Cloud Datastreamを利用して、BigQueryへリアルタイムに同期する環境が整備されています。

ここではCDC(Change Data Capture:変更データキャプチャ)という技術が使われており、データベースに加えられた変更を即座に検知・同期するため、常に最新のデータを扱える状態になっています。

外部データ・ファイルの取り込み (Cloud Run & Python)

APIやファイルなど、基幹システム外にあるデータについては、PythonとCloud Run(サーバーレスなコンテナ実行環境)を用いて独自のデータパイプラインを構築し、統合しています。

ケース1:広告媒体データの統合(ASP連携) 「どの広告から何件の申し込みがあったか」を正確に把握するためには、社内のデータと、社外の広告媒体データを突き合わせる必要があります。

そこで、ASP(広告配信事業者)のAPIから実績データを自動取得するバッチ処理を構築しました。

ケース2:現場データの自動取り込み(パスワード付きExcel) 現場業務では、セキュリティのためにパスワードがかけられたExcelファイルで重要データが管理されていることがあります。

これらも「手作業でアップロード」するのではなく、Pythonライブラリ(msoffcrypto-tool)で自動的にパスワードを解除・復号し、BigQueryへ格納する仕組みを作りました。

② 【蓄積・加工 - DWH & Transform】 データの定義と管理

集まったデータはBigQuery(DWH:Data Warehouse / 分析用の巨大なデータ倉庫)に蓄積されますが、そのままではただの数字です。

「人によって集計結果が違う」というカオスを防ぐため、ここでビジネスロジックを確定させます。

ビジネスロジックの実装 (SQL)

実際の業務では、生データをそのまま使うのではなく、複雑なビジネスロジックをSQLで吸収し、誰がいつ見ても正しい「データマート(扱いやすく加工された中間テーブル)」として整備しています。

例えば、私たちは複数のクライアント(法律事務所など)の支援を行っていますが、事務所ごとにデータベースの設計やテーブルの名前、さらには「対応完了」というステータスの定義も微妙に異なるケースがあります。

これらを横断的に分析可能にするため、私たちは以下のような処理をSQLで実装し、データの正規化を行っています

  • スキーマの統一: データソースごとに異なるカラム名や、データ型(文字列型と日付型)の差異を吸収し、統一されたフォーマットに変換しています。
  • ビジネス定義の翻訳: 「フラグが1なら完了」「日付が入っていれば完了」といったバラバラな仕様を、共通の「ステータスコード」に翻訳し、分析者が定義の違いを意識せずに集計できるようにしています。
  • データの統合(名寄せ): 数十事務所に分散しているデータをUNION ALLなどの処理で積み上げ、全事務所を横断したマスタデータを作成しています。

一見すると地味な作業に見えるかもしれませんが、こうした「ビジネスの実態に合わせたデータ統合(モデリング)」こそが、正確な経営・現場判断を支える土台となっています。

クエリ管理のモダナイゼーション (dbt)

これまではBigQueryのスケジュールクエリで管理していましたが、ロジックの複雑化に伴い、データ変換(Transform)を行うためのツールである dbt (dbt-bigquery アダプタを使用) の導入を進めています。

③ 【活用 - BI & Visualize】 データの可視化

②で整備されたデータは、Looker Studioやコネクテッドシートを通じて、現場の「次のアクション」を生み出しています。

Looker Studio

経営層や現場マネージャー向けに、以下のようなダッシュボードを構築しています。

  • LINE公式アカウント分析: 友だち追加数やブロック率の推移を可視化し、施策の効果測定を実施。
  • 業務進捗速報: 各クライアントの重要指標(問い合わせ数、対応完了数など)を横断的に可視化し、異常値を即座に検知。

コネクテッドシート (Connected Sheets)

スプレッドシートの操作感そのままでBigQueryのデータを扱える「コネクテッドシート」も活用しています。現場メンバーが使い慣れたツールで、最新のデータを自由に分析できる環境を提供しています。

チームが提供するビジネス価値

こうした技術スタックの上で、私たちは以下の価値を提供しています。

経営判断の迅速化

日次のデータ更新とダッシュボード化により、これまで月次集計を待っていた指標がリアルタイムで確認できるようになりました。これにより、事業の投資配分などの判断スピードが向上しています。

現場業務の効率化とリスク管理

手作業での集計業務を自動化するだけでなく、業務アプリの内製も行っています。例えば、システム横断で利益相反リスクをチェックするツールなどを開発し、オペレーションミスを防ぐ仕組みづくりにも貢献しています。

ビジョン、今後の展望

これまでは「データを出してください」という依頼に対応する業務が中心でした。
しかし、データ基盤が整ってきたことで、次のフェーズへ進もうとしています。

今後は、整備されたデータを武器に、「ここの数値に改善の余地がありそうです」といった能動的な提案を増やしていく予定です。また、生成AIを活用したSQL作成の補助や業務自動化など、新しい技術も積極的に取り入れながら、組織全体のデータ活用レベルを引き上げていきたいと考えています。

チームのカルチャー、やりがい

この仕事の面白さは、一見すると無機質なデータの裏側にある「手触り感」にあります。
バラバラで整理されていないデータの「カオス」を、自分の技術で意思決定に使える「秩序ある状態」に変える達成感。そして、自分が整えたデータやダッシュボードが、翌日の会議や現場のオペレーションで実際に使われているのを耳にする瞬間。成果が見えにくい職種だと思われがちですが、ご依頼者からふと届く「あの集計のおかげで助かったよ」という言葉は、何よりの励みになります。

また、正しいデータモデルを作るためには、KPIの定義や業務フローといった「ビジネスの仕組み」を深く理解する必要があります。エンジニアリングとビジネスの両面から事業全体を俯瞰できるため、市場価値の高い人材として成長できる環境です。

一緒に働く仲間を募集しています!

「データ分析」と聞くと、高度な統計知識を駆使するような、少しハードルの高い世界を想像されるかもしれません。
しかし、私たちが目指していることは、もっとシンプルで根源的なことです。それは、「社内のメンバーが迷わずに判断できるようにすること」、そして「会社全体がもっと成果を出せるように支えること」です。

だからこそ、完成された環境で働くよりも、「まだ整っていない環境を面白がれる」「自分の技術で、少しずつ組織が変わっていく過程を楽しみたい」そんな風に思ってくださる方と、一緒に働けたら嬉しいです。

データインサイトセクションだけでなく、スタイル・エッジ全体が、新しい風を吹き込んでくれる仲間を待っています。
ご興味をお持ちいただけた方は、ぜひ採用サイトもご覧ください!
recruit.styleedge.co.jp