tools.md というテキストファイルを持っている。最初はウィッシュリストだった。今は墓場だ。
これを見せようと思う。なぜなら、90日間で試したすべてのAIデブツールを追跡することで、予想もしなかったことを学んだからだ。お金の話じゃない。本当に私を消耗させたのは、この「探索」そのものだった——どのツールを試すべきかを突き止めるだけに費やした時間のことだ。ログを見せる前にひとつ断っておくと、以下の具体的な数や金額は、パターンを示すために組み合わせた例であって、一行ごとの正確な記録ではない。
ファイルを始めた理由
3月に、自分自身に苛立った。Cursorを開いて壁にぶつかり、新しいagentツールに関するツイートを見てインストールし、インストールしたことを忘れ、3週間後にバックグラウンドプロセスを食い荒らしているのを発見する——その繰り返しだった。そこでルールを作った。触れたAIデブツールはすべてファイルに記録する。日付、1行の理由、ステータス。生きているか死んでいるか。
15件くらいになるだろうと思っていた。
31件になった。
90日間で31件。3日に1つ、新しいものを評価していた計算だ。CLIエージェントもあった。Claude Codeに接続したMCPサーバーもあった。VS Code拡張機能がいくつか、「AIターミナル」が2つ、自律PRボットもいくつか。そして恥ずかしいほど多くのものが、すでに支払っているモデルのラッパーに過ぎなかった。
31件のうち、今も生きているのは4件だ。
AIデブツールの墓場
残りの27件はどう死んだか。カテゴリは名前より重要だが、いくつか名前も挙げる。「名前は出さない」と隠れることで、作り話だとバレるからだ。
- 到着即死（9件）。 インストールして一度開き、それっきり。デモ動画はウソだったか、セットアップが解決する問題より長くかかった。あるMCPサーバーはファイルの要約を作るのに4つの環境変数とDockerコンテナを要求した。そのための専用モデルはすでに持っている。
- より良いものに殺された（7件）。 気に入っていたが、2週間後にもっとシンプルなものを見つけた。最初のツールが悪かったわけではない。ただ、劣ったものを選んだ時点では、より良いものの存在を知る方法がなかった。
- 静かに死んだ（6件）。 これらは実際に使った。その後、メンテナーが消え、アップデートで壊れて誰も直さず、無料プランが一夜にして消えた。探しに行って消えていることに気づくだけだった。そのひとつが私にとってSmol Developerだ——1ヶ月は素晴らしかったが、いつの間にかワークフローから抜け落ち、再インストールすることは一度もなかった。
- ハイプ税（5件）。 タイムライン全体がそれで埋まっていたから試しただけ。本当のタスクを一つも乗り越えられなかった。2件については、何をするツールだったか正直思い出せない。
これで27件。名前はほとんど意味がない。半分はすでにピボットするか閉鎖しているからだ。このリストは私が更新できるより速く腐っていく。それがすべてのポイントだ。
誰も請求書に載せないコスト
では墓場は実際にいくらかかったのか。コーヒーを持ってファイルを見返し、正直に足し算しようとした。研究じゃない。私とログの対話だ。
お金: キャンセルする前に自動更新されたトライアルに約180ドル、さらに楽観的な瞬間に買った年間プランがいくつか。そのひとつは、もう終わりにしようと決めた翌日に47.12ドルを請求してきた。腹立たしい。でも回収できる。
時間こそが本当に醜かった。1ツールあたりの本当のコストはインストールじゃない。ドキュメントを読む、設定する、実際のタスクでテストする、コストに見合わないと判断する——このループだ。素早く却下するものには15〜25分。公平なチャンスを与えたものには優に2時間。31件でこれを計算すると、約9時間になった。フル1日分の仕事が、何を使わないかを決めるためだけに消えた。
これが測定できる部分だ。高くつく部分は、そもそもファイルに現れない。
ツールを評価していたのではない。噂を評価していた。
どの評価も同じように始まった。1つのタブ。それから6つのタブ。最後の破壊的変更以来触れられていないGitHubのREADME。8ヶ月前のRedditスレッド。「ツールXは死んだ、ツールYが未来だ」と断言するリプライ者。400のアップボートがあり、今日も動くかどうかのシグナルがゼロのProduct Huntページ。
私はツールを見ていなかった。ツールについての雑音を見て、推測しようとしていた。
刺さった部分はここだ。「より良いものに殺された」2件の死? より良いツールは何ヶ月も前から存在していたが、私は劣ったものと格闘していた。必要な日に、3月の時点でリアルな順位を教えてくれる信頼できる場所がなかった。だから同じ仕事で発見コストを2回分払った。
ツールが速く動いているのか、ツールに関する会話が速く動いているのか。ほとんどの日は判断できなかった。何かが良いと確認できた頃には、その評価は私の足元から賞味期限切れになっていた。
だから聞いて回った。最も信頼している十数人のビルダー、本物のものをシップしている人々——どうやって選ぶ? 誰もシステムを持っていなかった。最もよくある答えは「タイムラインで見た」。2番目は「尊敬している人が言及した」。私たちは雰囲気と近さで基盤を決断するシニアな人たちで、みんな分かっていて、それでも続けている。なぜなら、目の前に何もないから。
実際に変えたこと
発見は直せなかった。直せない。毎週火曜日に新しいagentをシップするカテゴリを、一人の人間がリサーチで超えることはできない。
直したのはファネルだ。新しいルール: ツールには15分と1つの実際のタスクを与える。そのタスクで私がすでに使っているものを超えられないなら、死んだ、ログに記録、終わり。「あとで戻る」はなし。戻ったことは一度もない。ファイルがそれを証明している。
単一のソースを信頼することも止めた。タイムライン、README、熱狂的なブログ記事——関係ない。誰かが実際に最近使った場所で同じ評価を2〜3か所に見つけられない限り、それを雑音として扱う。
助けになる。でも所詮は絆創膏だ。なぜなら傷はまだそこにある: 誰もこのスペースのランク付きで現在の信頼できる地図を持っていない。だから私たちは一人ひとり、同じ地図を孤独に、下手に再構築し、1ヶ月後に腐ったら捨てる。
31件試した。4件生き残った。生き残った4件は最高のデモを持つものではなかった。たまたま良い日に見つけたものだった。雑音がより良いものを埋める前に。
これはツーリングの問題じゃない。地図の問題だ。そして今、私たちの誰もその地図を持っていない。