第7回 Chaos Engieering 読書会@リモートのログ
引き続き Discord によるオンライン開催。
次回は 11/15(日曜日)で、Part IV Business Factors の 15 Chaos Maturity Model から。
対象範囲
- Part III Human Factors（第三部 ヒューマンファクター）
- 12 Experiment Selection Problem (and a Solution)
- Part IV Business Factors
- 13 ROI of Chaos Engineering
- 14 Open Minds, Open Science, and Open Chaos
トピック
- iPhone 12 が公開
- AppStore アプリから予約するのが簡単らしい
- 仕事部屋を絶賛改造中
- Sourcegraph をお試し中
- テニスを通じていろんな人と交流してる
- 自宅のモバイルネットワーク品質が悪いことに気付いてがっかりしてる
ディスカッション
12 Experiment Selection Problem (and a Solution)
- カオス実験で設定する問題事象は、それぞれの事象の発生頻度は極めて低いのに、無数の組み合わせから慎重に選択するモチベーションが理解できない
- 大規模になればどれだけ低確率の事象でも普段から発生することになるから、やっぱり考慮しないといけない
- とはいえほとんど生じない要素を取り上げるという考え方はおかしいだろう
- 無数の実験から選択する方法は実質 1 つ - 専門家に委ねる
- ただ、嘘をついてしまう場合があるので注意が必要
- 問題として認識してるけど対応するのがすごい大変、とか
- 収集したコールグラフにモデル式を適用することで優先して実験したほうがいい部分を導出する、みたいな研究すごい
Part IV Business Factors
13 ROI of Chaos Engineering
- カオス実験により発見した欠陥を解消できたことで、より高い可用性を求められると困ってしまう問題
- カークパトリックモデル
- 投資対効果を評価する古典的なモデル
- 1 反応 - 肯定的か
- 2 学習 - 何を学んだか
- 3 転移(振る舞い) - 学んだことから行動は変化するか
- 4 結果 - 費用コストに見合う結果は得られたか
- (この指標、仕事に使えるのでは･･･)
- 費用コストに直結しない KPI でも合意さえあれば指標として実験の価値を示すことができる
- カークパトリックモデルは指標ではなくあくまでも評価モデルでしかない (誤解してた)
14 Open Minds, Open Science, and Open Chaos
Open Science now: A systematic literature review for an integrated definition - ScienceDirect
