ポエムです。

事業フェーズごとのデータサイエンティストの役割

まずはこちらの発表。

とても納得できる内容だった。
一部抜き出して要約すると

  • 事業の立ち上げフェーズ
    • データがまだなかったり、整備されていない状態
    • データサイエンスによる改善がしにくい
  • 事業のグロースフェーズ
    • 大規模なデータが使える状態
    • データサイエンスによる改善がやりやすい

とのこと。異論はない。
では事業が立ち上がり、グロースが落ち着いたその後の成熟フェーズではどうなのだろうかという話。

成熟フェーズにおける改善の難しさ

端的に言うと成熟フェーズでは ML によるさらなる改善は困難になってくると思う。
ここで言う成熟フェーズにおいてはプロダクトの進化とともに機械学習もそれなりに適用されてきたものとする。

成熟フェーズということで既存の ML モデル、特にビジネスインパクトが大きい箇所はこれまでいろいろな改善が重ねられてきている。
そのモデルの精度をさらに上げるとなると、より高度なアルゴリズム、より複雑なデータ等を扱う必要がある。
しかし技術的によっぽど大きなブレークスルーがない限りは精度の改善幅はグロースフェーズよりもかなり小さいものとなるだろう。
精度が上がれば上がるほど、次の1%を上げるためのコストは大きくなっていく。
改善が進むほどに次の改善業務は困難になっていく。

(蛇足だがある程度大きな組織でなければ高度で state-of-the-art な ML アルゴリズムは運用しない方がいいと考えている)

では既存ではない新しい適用箇所に ML を使えばいいのではとなるかもしれない。
しかしやはりそれも難しい。
ビジネスインパクトが大きく、かつわかりやすい適用箇所にはおそらくすでに ML が適用されているからだ。
その状態から更によい適用箇所を見つけるには深いドメイン知識が必要になったりする。

という感じでいわゆるキラキラした「ML でビジネスをドライブ！」みたいなことは成熟フェーズでは難しいことが多いのではないか。
しかしデータサイエンティストにやることがないわけではない。

成熟フェーズで何ができるか

ぱっと思いつくのは次のような仕事。

  • データドリブンな施策の立案・評価
    • これは事業フェーズ問わずあるべき
    • ドメイン知識が必要
  • ML エンジニアリング
    • パイプラインの改善や属人性をなくすお仕事
  • ML モデルの受動的なメンテナンス
    • 精度が変化したときの調査
    • 内部的・外部的要因によるデータの変化への対応
  • やっぱり ML モデルの精度改善
    • 成熟フェーズということでビジネスもスケールしていれば 0.1% の精度改善でも売上的なインパクトは大きいかもしれない

いわゆる狭義のデータサイエンスではなく、ドメイン知識であったりアナリストやエンジニア的な視点が絡んだ仕事が増えてくる。
よくある「ML だけじゃなく◯◯もできると強いよね」みたいな話になってしまった。

おわりに

…という話が少し前に Twitter で知人との話題に上がった。
若者が歴史的にいろんな人が改善に取り組んできた ML モデルの改善にアサインされている、というのが近いところで観測されたのでたいへんそうだなあと思いつつこの件を思い出したので書いてみた。

ここまで書いて思ったけど、成熟フェーズでキラキラしたことがやりづらくなるのはデータサイエンティストだけじゃないよな。
でも狭義のデータサイエンスのスキルは特に、事業の存続期間と比べて大きく貢献できる期間が短いのかもしれない、と個人的には考えている。
成熟フェーズでは高度なスキル、高い賃金に見合ったプロダクトへの貢献が得にくくなっていくのではないだろうろうか。
でも反論もいっぱいありそうな気はします。

「ML でビジネスインパクトどっかんどっかんやで！！」みたいな仕事をしたい人はそれなりの頻度で事業部を移る or 転職するというのが賢い動きになるんでしょうかね。