A私も質問者様と同じく手を洗います。
ベタベタとするのが嫌だというのもありますが、なるべく地肌につけてはいけないものを、そのままにしておくのは肌にあまり良くないように思うからです。
実際、その手で顔に触れたりしたら余計な油分もつきますしね。

ですが、トラブルがないならそのままでもいいのかもしれません。
あくまで自分の気分の問題なのかなと思います。