待ちぼうけ

待ち合わせの相手が来なかったとして、
A.5分待って帰った
B.1時間待って帰った
のとでは1時間待った方が相手に対してより多くの怒りを覚えるような気がします。
しかし、相手が来なかったという点ではAとBのどちらも同じです。違うのは、待った方の選択です。そうしてみると、1時間待って得た怒りの5分の場合よりも多い部分は来なかった相手ではなく待った自分に起因するのでしょうか。