相手から何かを指摘され、「自分でもよく分かっているよ」といいたいときの一言です。口調によっては、「分かっているからもう放っておいてくれ」のニュアンスを伝えることもできます。似たフレーズとしては、Of course. / Naturally. / I know. などがあります。
＜SKIT＞
A: We have to be careful not to spend too much money.
B: That goes without saying.
　　A: お金を使い過ぎないように、気をつけなきゃね。
　　B: 言われるまでもないよ。
『英会話お決まり表現160』
（マクミラン・ランゲージハウス　浦島久、クライド・ダブンポート共著）より