実際の社会や法に於いては、ですね。
世の中は何だかんだ言ってまともな人・まともな価値観の方が多く存在してるので、
それに対して逐一「その自由は何かを産みますか？」「その自由は価値あるものを阻害しませんか？」
とチェックしても「産みますね」「阻害しませんね」となることが多数です。

なら当然「まず自由があって、それが他人の自由や幸福を阻害するときに、自由が制限される」方が効率が良い。
実際、社会や法はそのように出来ています。
しかし、事、こう言った「議論」にフィールドが移ったときは、「何を産むか何を阻害しないか」と言う「結果や可能性から逆算」して言った方が話が早い。
「議論」の槍玉にあがるのは大体「『差別する自由』ってものがあるだろう」とか言い出す「害悪を生み出す人」ですから。

それと無為（と言うかプラスマイナスゼロ）は害悪ではないので、私の元の「生み出さない（あるいは害悪なものを生み出す）自由」と言うのは間違いでしたね。「害悪なものを生み出す自由」と訂正させていただきます。