6つのレベル、それぞれ次の一手
レベルは年功でも職位でもありません。それは「あなたとAIの間のメカニズムの層をどれだけ理解しているか」です。各レベル以下では、4つのことを述べます:どのように感じるか、何を知っておくべきか、人がよく間違える点、そして次に取るべき唯一の一手。
L1 リスン 0–15
「AIはすごい」と分かっているが、どの分野ですごいのかは言えません。チャットボックスを使ったことはありますが、AIに仕事を一つ完成させさせたことはありません。
- 大規模モデルとは何で、何ができるかの大まかな概要
- 「prompt」という言葉が実際に意味すること
- AIをより賢い検索エンジンとして扱うこと
- より大きなモデルがより信頼できると仮定すること
次の単一のステップ: 毎週行う繰り返し作業のひとつを選び、最初から最後まで一度やってみて、「うまくやれたとは何か」を書き出す。
L2 ウェイド 16–34
まずまずの答えを得ており、ツールを試し始めています;しかし出力の品質は宝くじのように感じられ — なぜこの実行が良く、あの実行が悪いのか説明できません。
- 文脈、幻覚、知識のカットオフが本当に意味すること
- 良い成果の一つで、その部分はプロンプトから来た
- 「詳細に書かれた」と仮定すると「はっきりと言われた」とみなす
- 何か問題が起きたときにモデルを切り替える
次の単一のステップ: 1つのタスクを取り上げ、“基準と反例”を使って指示を書き直し、2つの出力を比較します。
L3ハンドル 35–52
ツールを組み合わせて、一つの小さなことが本当に自動で動くようにできる;失敗することもわかっていて、チェーンのどのあたりで失敗するかもおおよそわかっている。
- リトリーバル、ツール呼び出し、コンテキストウィンドウがどのように組み合わさるか
- なぜコストと遅延が設計を決定するのか
- 「動くかどうか」だけで、「再現できるかどうか」は決して言わない
- 1度の成功を安定した能力とみなすこと
次の単一のステップ:自動化に三つの要素を追加:基準、ログ、失敗時再試行。
L4 作成 53–70
市販のツールを使うのではなく、自分の作業のためにツールを作っています;トレードオフを行っています — どのモデルを使うか、どのステップを人間が担当するか、どの程度費やすか。
- 評価セットを作成し、ベースラインを設定する方法
- 複数ステップの作業では、どのステップを人間が行う必要があるか
- 「自分は知っている」を「自分のチームが実行できる」と仮定する
- 1つのケースで自分を納得させ、回帰は一切行わない
次の単一のステップ: 自分自身の働き方を、他の誰かが従える基準チェックリストに書き出し、同僚に渡して一度実行してもらう。
L5オーケストレート 71–86
あなたは「誰が何をするか、どのように検証されるか、誰がミスを所有するか」を設計しています。あなたが管理するのはプロンプトではなく、タスク、権限、定義、レビューです。
- エージェントの人員数とタスク台帳の関係
- 権限、監査、ロールバックがプロセス内にどのように組み込まれるか
- 「もう一つのエージェントを追加する」ことで協調の問題を解決する
- 受諾権を実行者に渡すこと
次の単一のステップ: 管理するラインについて、3か月間のタスク台帳を作成してください: 誰が実行するか、誰が検証するか、完了とみなす条件は何か。
L6 ボードを設定する 87–100
ルール自体を動かしている:データの出所、誰が基準を設定するか、誰がコストを負うかを見て、次のボトルネックがどこに現れるかが分かります。
- コンピュート、データ、評価、組織間の相互制約
- オープン/クローズドソースの度合いや規制、標準が可能なことを変える
- 「自分にできる」を「これをやるべきだ」と扱う
- 責任や外部要因を無視すること
次の単一のステップ: 自分が運営しているシステムをひとつ選び、6か月後に最もボトルネックになりそうな層を書き出し、まずその層を移動させる。
三層の使い方
レイヤー1(質問)はあくまでサンプルであり、判断はしません;レイヤー2(この表)はスコアを「あなたが追加すべきメカニズムのレイヤー」に変換します;レイヤー3(パノラマ)はそのメカニズムを再び世界に置きます――どの川、橋、通り、都市、荒野に位置するかを示します。三つのレイヤーを通した後、自分自身の理解に対する判断はスコアよりもはるかに正確になるでしょう。
それを使う直感に反する方法: まずパノラマを読んでから、戻ってテストする多くの人は、テストを受けて初めて、自分が「知っている」と思っていたものが実際には聞いたことのある名前に過ぎなかったことに気づきます――なぜなら、このパノラマは名詞をその上流・下流の間に戻し、どちらの側が欠けているかを瞬時に確認できるからです。