実験の計画ができたら実験のいよいよ実行です！
実験で仮説を検証するためのデータを得る
「立てた仮説が正しいと言うためには何が言える必要があるのか」と考えそれを示すデータを得ます。
まずは予備実験
実験ではそれ専用の実験装置が必要になることがあります。
そうした場合、その試験装置に欲しい実験データを得る性能（能力）があるのかその特性をまず予備実験で見極めます。これを先にやっておかないと後でこの実験装置ではほしい実験データが得られなかったという徒労に終わることがあります。
実験装置に欲しい実験データを得る性能がない場合は、速やかに実験装置の修正をするべきだと思います。それが無理な場合、奥の手として段階的な検証ということでストーリーを修正して初期検証として実験をスタートさせるなどの策がありますが、結局遠回りで時間がかかる検証になると思います。
実験を進める
予備実験で実験装置の能力が把握できれば、検証に必要なデータを集めていきます。
一般的にトラブルなしで実験が進むことは稀です次にトラブルのさばき方を示します。
トラブルをさばく
トラブル予防の基本は、重大なことにはできる限りヘッジをかけておくことです。重要論点には二重三重のヘッジをかけ、一つや二つが転んでも何とか全体としてのイシューを検証できるようにします。
通常どんなイシューであろうと検証方法はいくつもあります。どれかが絶対的に優れているということもさほどありません。どんな検証でも代替案が何もないという事態は極力避けましょう。どんな検証方法でもイシューに答えが出せればそれで構いません。
ほしい数字や証明が得られない
直接使える数字が得られなくても簡単にあきらめないで次の３つの方法を検討してみてください。
- 構造化して推定する
- 足で稼ぐ
- 複数アプローチから推定する
構造化して推定する
どうやったらこの値を出せるか、どんな構造に分け、組み合わせれば出せるかを考えます。いわゆる「フェルミ推定」です。
足で稼ぐ
正式な数字が取れなくても、どの程度の規模感かがわかればフットワークででも情報を稼げます。
複数アプローチから推定する
重要な数字の規模感がわからないとき、複数のアプローチから計算（推定）して値のレベルを推定します。
自分の知識や技では埒が明かない
- 人に聞きまくる
- 期限を切って解決のめどがつかなければその手法に見切りをつける
人に聞きまくる
それなりの経験がある人に聞けば、かなりの確率で打開策やアイデアが得られます。運が良ければ同様のトラブル時にどのように回避したかを教えてもらえることもあります。
期限を切って解決の目途がつかなければその手法に見切りをつける
人に聞けないようなことや独自のやり方がうまくいかないときは、期限を付けてトライしましょう。得意なやり方や愛着のあるやり方でもそれでは埒が明かないときはさっさと見切りをつけてほかの手法やアプローチを試しましょう。
軽快に答えを出す
トラブルをさばければ後は軽快に答えを出すだけです。
いくつもの手法を持つ
「持っている手札の数」「自分の技となっている手法の豊かさ」これが大事になってきます。はじめて研究開発に従事する人にはやや難しいかもしれませんが、テーマをこなしていくうちに蓄積していきましょう。
回転数とスピード重視
軽快に答えを出すのに大事なのは停滞しないこと。
丁寧にやりすぎない
数字をこねくり回さず手早くまとめましょう。１回ごとの完成度よりも取り組む回数（回転数）を大切にしましょう。そのほうが生産性が上がります。
答えを出せるかどうか
大切なのは「答えを出せるかどうか」です。どれほどエレガントなアプローチでもそれが正しくイシューに答えを出せないと意味がありません。無価値です。加えてスピードが大事です。
得られた結果で仮説を進化させ価値を上げる
仮説の確度を高め使えるようにするには、仮説・検証のサイクルを回し仮説を進化させ磨き上げ価値を上げるのが大切です。
帰納的思考をする際に、共通項のくくりを具体的に絞り込む
共通項を具体的に絞り込んでいくと、新規性・独自性などの点で仮説が進化し磨かれて価値が上がります。
因果関係を明らかにしていく
因果関係が解明できれば再現性が高まり価値が上がります。自然科学の世界では因果関係が解明でき、厳密な検証がなされれば「法則」や「定理」となります。解明していく流れとして以下がある。
- 共通項を探す
- 因果関係の候補をあげる
- 因果関係が見つかれば、失敗例の中でその因果関係が該当しないことを検証する
検証の５つの注意点
- ファクトを集めすぎてしまう
- 精度を厳しく求めすぎてしまう
- 情報収集の落とし穴
- 解釈・判断の落とし穴
- 肯定的結果が出ることにこだわりすぎてしまう
ファクトを集めすぎてしまう（ファクト中毒）
データを大量に集めて、うまく整理ができず時間だけが過ぎる。「この仮説を立証するには何が必要か」と自問自答してデータを制限する。ピラミッドストラクチャーで仮説を支えるには２～４程度の柱があれば十分です。
精度を厳しく求めすぎてしまう
最初から精度を厳しく求めすぎるとかえって研究開発が遅くなることがあります。
はじめは大まかな仮説・検証⇒具体的な仮説・検証⇒厳密な仮説・検証という具合にステップアップするほうが良いときがあります。
情報収集の落とし穴
これは実験での検証の話ではなく、ディスカッションやインタビューでは思いつきやすい、あるいは思い出しやすい情報から答えてしまう傾向があります（近日効果とかドラマチック効果）
現場での実感や定点観測など自分自身にも注意が必要です。
解釈・判断の落とし穴
先入観・思い込みなど偏見のことです。ある事象の中で代表的な属性が現れる確率を過大に見積もってしまう「代表性ヒューリスティック」が広範にみられます。検証のスピードは上がりますが特異点の見落としになるので注意が必要です。
フェアな姿勢での検証が必要です。特に確証バイアスや正常性バイアスに気を付けましょう。
確証バイアス
自分がもともと持っていた仮説に沿う情報ばかりを評価し、沿わない情報は軽視してしまうこと
正常性バイアス
意味のある変化や異常値があるのに、それまでの文脈を過大評価して単なる例外とすること
肯定的結果が出ることにこだわりすぎてしまう
仮説が正しくないといけないと思い込み、思わしいデータが集まらないとデータ収集からやり直したり根拠が薄いと思いながら強弁したりすることです。間違いを認めたくない。ということ。
「立証されないことが分かった」というだけでも一定の価値がある。過度にこだわるより、修正して別角度から仮説を立てたり、次のステップへ向かうのが良いときがあります。
エジソンの名言「私は失敗したことがない。ただ一万通りのうまく行かない方法を見つけただけだ。」にもあります。ポジティブにいきましょう！
