ハンドは「ハンドリング（手でボールを扱おうとすること）」なので、当たっただけでは取られないですよ。最近そのルールに厳密に従うようにお達しが出ました。
もちろん手を不自然な位置にしてた場合はボールから当たってきてもハンドリングです。