そうか「後悔」というより「心残り」という言葉がぴったりですね。