概要

AmazonAthenaは、手軽にストレージ上のデータをデータベースとして利用できる便利なツールです。

しかし、その手軽さの反面、間違ったデータが混入しやすく、慎重に分析を進めるべきでしょう。

nehanを使ってプログラミング不要、ノーコードで実施します。

※一部SQLを記述していますが、SQLビルダーを用いれば不要です。

---

データ

ユーザーごとのコンテンツ内アイテム資産の所持データを用意しました。

2021/02/01〜2021/02/10の10日間分入っています。

---

イメージ

---

STEP1：Athenaからデータを抽出

本来であれば、集計後のデータを抽出したいところですが、どんなデータが入っているのか不明。

データの全容を確認後分析を行うべく、生データをそのまま抽出します。

---

STEP2：データを確認する

今回は「money」の日別の総量を観察したいと考えています。

サマリを確認すると、欠損が1つ存在し最小値がマイナスに。。。

このデータでは資産がマイナスというのは異常値とし、取り除くことにします。

---

STEP3：前処理

• 欠損値を削除
• 「money」列の値を0以上にフィルタ

します。

---

STEP4：日毎のmoneyの総量を算出

無事に総量が算出できました。

これで可視化用のデータは完成。

全部で4ノードで実現できました。

---

STEP5：可視化

ビジュアライズモードを起動。

 

面グラフで総量推移を可視化。

moneyの量が減少していそうな傾向がつかめました。

 

---

終わりに

仮に、上記のデータの異常に気づかずに集計していた場合、間違ったデータを可視化し、誤った判断を招く可能性があります。

データベース上のデータを扱う場合に共通して言えることですが、特にAthenaの場合はちゃんとデータを確認し、分析を行うべきと考えます。