キャロラインは娘と一緒に引っ越すことを希望したが、その願いは叶えられなかった。

ジョージの強い反対によって、娘のシャーロットはカールトンハウスに接する屋敷に留まる事となり、母と娘は別々に暮らすことになった。

夫からのひどい仕打ちと娘と離れて暮らさなければならないことに深く悲しんだキャロラインだが、新しい館での暮らしは彼女にある種の平穏をもたらせた。彼女はここで貴族や政治家との関係を築き、友人を持つようになったのだ。

また、キャロラインの元には父王も訪問し、夕食などを共にすることもあった。父王はキャロラインが寂しい想いをしないよう常に気にかけていた。

そんな義父の心配りは、キャロラインに対し敵意を見せる者も多かった王室において、なによりも嬉しいものであった。

モンターギュ・ハウスには浮浪者の子供達も施しを求めてよくやってきていたが、キャロラインは彼等を決して差別せず、施しを与え、分け隔て無く言葉を交わすようになっていく。

こうして平穏な時を過ごし始めたキャロラインだが、ここで大スキャンダルに見回れることになる。

1804年、短期間だがキャロラインの従者を務めた経歴をもつダグラス夫人が、突如キャロラインに関するある告発を行ったのだ。

ダグラス夫人と彼女の友人シドニー・スミスとが不倫の関係にあるとして、キャロラインがそれを知らせる手紙を夫に送りつけてきて、困っているというものであった。ダグラス夫人は自分はそんな不義は行っていないのだと主張した。

この話が持ち上がって、真っ先に動いたのはジョージであった。国王夫妻に何の相談もせずに、弁護士を雇い真相究明に動き出したのだ。