社長の不定期更新

Hyper nehanリリースに寄せて

長い戦いが無事に終わりました。

各位、大変お疲れ様でした。

思えば、昨年4月から研究も含めやっていたので、nehanとしては初の長期プロジェクトだったように思えます、

Hyper nehan構想自体は、実はnehanサービスリリース前からありまして、とあるお客様の大規模データ処理に対する要望を叶えられなかったことから具体化し始めたのを覚えています。

非常に悔しかったのを覚えているのですが、合わせて「大規模データを誰でも簡単に扱いたい」というニーズは確実にあると感じ、実現に向けて動き出しました。

2020年4月〜6月

このころは、ただひたすらに、実行速度を早くするための選択肢を研究してました。

GPUだったりなんだったりを試していた履歴がありました。

2020年6月〜11月

高速化にあたって、ボトルネックになりうる部分を変えよう、という考えから、nehan誕生以来使っていたデータ処理実行エンジンを変更していました。

10月末にリリースし、そこからトラブル続きで大変だった履歴がSlackに残っていました。

また、この頃に議論に議論を重ね、Sparkの採用を決定した履歴が残っていました。

2020年12月〜2021年1月

ということで、Sparkの検証をやっておりました。

未知の技術に対する試行錯誤が困難を極めていた印象があります。

試してみた結果、小さいデータだとむしろ処理速度が遅くなってしまい、データ量に応じた自動スイッチの仕組みを決めました。

2021年2月〜4月

仕様は決まったので後は実装して〜、という感じで、GW前、4末のリリースを予定したこともありました。

しかしながら、気づけば、我々はエラー地獄の真っ只中にいました。

2021年5月

色々なテストを行いますが、エラー地獄は終わりが見えず、夜中のテスト結果を見て、朝ため息をつく。。。そんな日々が続きます。

2021年6月

6月頭リリース案もありましたが、エラー地獄はまだ続き、リリースを延期。

そして、テストをやり込みました。

テスト環境を3台も立て、安定的に動くことはもちろん、Sparkの実行結果がこれまでの実行結果と変わらないことの検証、実行時間が改善しているかの検証、エラーメッセージの検証、過去発生したバグが発生しないかの検証、手動操作でのテスト項目検証・・・

怒涛のテスト項目を乗り越え、ようやくリリースにこぎつけました。誠におまたせしました。

そしてリリースへ

リリース後、私が過去に分析案件で作成していたプロジェクトを実行して、時間を計測してみました。

大きめの履歴データを前処理して、最終的にダッシュボード化までしていたプロジェクトです。

なんと、実行時間は半分になりました。

下記は社内Slackに投稿したキャプチャです。

長きに渡る戦いでしたが、改めて皆様大変お疲れ様でした。

新しいnehanが今ここに始まる。

コーポレートTOPへ

Contact