とても単純な話なのですがかなり迷ったので備忘録的に残しておきます。
「インスタンスの削除」的なメニューがあるもんだと思ってずっと探していましたが、
実際には 「インスタンスの終了」 がそれにあたります。 (削除という文言がないのでなかなか気づきませんでした。)
消したいインスタンスを右クリックし、「インスタンスの状態」 => 「インスタンスの終了」 と選択することで消せます。
消してもしばらくはコンソール上に残るようです。
「終了保護」が設定されていると、終了ができないので、本当に消したい場合は事前に外しておきましょう。