iPhoneだと自分が付けた☆をタップして少し待つと、「この☆を削除しますか？」と聞いてきます。
OKを押せば消えます。