＞回答削除はあっても良いんじゃないかな。　誤解で間違えた回答しちゃう場合もあるし。

回答削除を認めちゃうと、回答で違反行為があっても、運営が確認する前に消してしまえば問題なしという事も考えられます。
もちろん、投稿内容は全てログを記録しているでしょうから、ログを確認すれば分かる事でしょうけど、通報又は運営が現認しなければ違反行為として処分されませんから、
ステルス行為（主に質問者又は他のユーザーに対する人権侵害行為）が横行する可能性があります。

もしも、回答の不備による削除（非公開）を認めるとすれば、回答者自らが削除するのではなく、運営の手によって行われるべきだと思います。
（運営はそんな面倒な事はしないだろうけど。）