ようやく、キャロラインは落ち着いた生活を送れるかに思われたが、次にキャロラインの前に立ちはだかったのは、夫のジョージであった。

それまではキャロラインと顔を合わせるのを避けるため、カールトンハウスを訪れなかったジョージだが、ジャージーが去ってから、キャロラインの元に度々やってくるようになった。

そして、キャロラインが無断で外部の者を招いたパーティーを行ったとしてこれを激しく批判した。

また、キャロラインが親しくなった従者の家を数日間訪問したいと伝えた時には、1人で国内旅行に出ようとしていると、話しを誇張して国王夫妻に報告した。

そして、これらのことは全て新聞に漏れ聞こえ、皇太子夫妻が不仲の状態にあると、記事にされるようになった。こんな内輪の情報を漏らす人物など一人しかいなかった。明らかにジョージの仕業であった。

キャロラインはなんとか夫と普通の夫婦関係を築けないかと努力をした。だが、それも我慢の限界を超えていた。

ある日、キャロラインはジョージに対し、
「二言だけあなたに申し伝えます。私がやってきて2年半になりますが、あなたの妻として、もしくはあなたの娘の母として、扱ってくれたことは一度もありませんでした。私は今後あなたに何も申しません。そのかわり、私もあなたには従いません。私はあなたの命令や規則に従う家臣では無いことをお知らせします」と言い放った。

ジョージはこの宣言に面食らいながらも、一方でほくそ笑んでいた。ジョージは一刻も早くキャロラインと離婚したいと考えており、その通りに事が運んでいると思ったのだ。

しかし、キャロラインに離婚の意思はなかった。キャロラインはカールトンハウスを出て、グリニッジにあるモンターギュ・ハウスに移ることとなった。