一方このころのジョージは、ミラノ委員会によって集められたキャロライン不義の証拠を手に入れ喜んでいた。
キャロラインがイギリスに戻るようなことがあっても、これらの証拠をもとに、すぐにでもキャロラインを追放する法律を作成出来るよう準備を整えていた。
また、このころのジョージは自分の位、摂政（リージェント）の名を冠した「リージェント・パーク」「リージェント・スクエア」など、様々な施設を作っては国に莫大な借金を背負いこませていた。
こうした愚行とキャロラインを追い落とそうとする動きは、イギリス国民の怒りに火を付けていた。
1820年、心を失って久しかったジョージ3世がこの世を去る。ジョージは「ジョージ4世」として国王の名を受け継ぎ、イギリス国王に即位することとなった。
国王になったジョージは、キャロラインに王妃の称号を与えることを拒み、さらには戴冠式で読まれる祈祷書から名前を削除することまで議会に提案し、この法案は議会で承認された。
王室と議会でキャロライン追放の動きが整う中、6年ぶりにキャロラインはイギリスに帰還した。ついに離婚に追い込む機会が訪れたことに歓喜したジョージだが、ここで思わぬ反発が巻き起こる。
キャロラインは国民達によって、すさまじいまでの歓待を受けたのだ。大多数の国民はミラノ委員会の報告を疑わしいものとして、決して鵜呑みにはしなかった。ジョージが離婚のために仕組んだ策略であると見抜いていたのだ。
ドーヴァーの地を踏んだキャロラインに対し「キャロライン王妃万歳！」の歓声が渦巻き、その歓待はキャロラインが訪れたどの都市でも同じであった。
それは単にひどい国王に虐げられた王妃を支持しようとする思いからだけではなかった。ジョージと議会に対するすさまじい反発の意図も込められていたのだ。
当時のイギリスは産業革命も一段落し、ナポレオン戦争への多大な出費などで不況を招いていた。それが一部の急進派によって王室を打倒しようとする動きにまで発展していた。
キャロラインに対する歓待は次第に攻撃的なものに発展し、反王妃派の人間達に対する過激な行動に変わっていった。
反王妃派の貴族や議員の家は集まった群衆から石を投げつけられ、窓ガラスなどが破壊されていった。
それはジョージの私邸、カールトンハウスにまで及んだ。王の住まいが投石を受けるという異様な事態にまで発展したのだ。
