今回はそう簡単に行かないと思いますよ。
質問者の行為は利用規約違反でも、回答者は単に回答を投稿してポイントを配当してもらっただけですから…
この行為をもって、回答者のポイントを没収すると違法（財産権の侵害）になるんじゃないかと思います。
質問者に関しては、ポイント没収もありえるでしょうね。　ただその場合、ポイントシステムの瑕疵を理由にポイントの返還を求められたら…　興味深いですねえ。