face は「直面する」という意味で使用されています。「ちゃんと直面しようよ」と言うことで、「あまり認めたくはないが、事実は事実として嫌なことでもあえて直視しよう」という意味になります。it を fact に変えて Let’s face facts. と言うこともできます。

＜SKIT＞

A：Next year things may improve.

B：Let’s face it. We have to close some of our stores.

A：来年になったら、事がうまくいくかもしれないわ。

B：正直に認めようよ。店を何軒か閉めなければ。

『使える英会話鉄板表現 160』（コスモピア株式会社、浦島久著）より