父王は長男の愚行に頭を悩ませた。頭痛のタネはジョージだけではなかった。ジョージ3世とシャーロットの間には9人の息子と6人の娘がいたが、息子達のほとんとがハノーヴァー家の気質を受け継いだ問題児ばかりであった。

三男のウィリアムは13歳にして女官二人と関係を持つほどの女好きで、五男のアーネストなどはつまらないことに腹を立ててお付きの者を殴り殺し、果ては自分の妹ソフィーとも関係を持ち、子供をもうけたとも言われている。

息子達の誰もが、次々に問題を生み出すので、父王はほとほと困り果てていた。

そんなさなか、ジョージが再び問題を起こす。ジョージはメアリーの後にマリア・フィッツハーバートという敬虔なカトリック教徒の未亡人に恋をし、彼女を追いかけまわすようになる。

さらには自殺をほのめかす事で、なかば脅迫めいた形で密かに結婚していた。

しかし、この結婚は完全な違法行為であった。当時の王室にはカトリック教徒との結婚は許されないとする王位継承法が存在し、また25歳に達するまでは王の許可なく結婚することも出来なかったのだ（ジョージは当時23歳だった）。

愚息たちが引き起こす数々の問題、特に王位継承者の筆頭であるジョージの女性問題と借金は父王を苦しめ、ついに精神病を発症するまでになってしまう。

ジョージ3世は元々ポルフィリン症という神経系の病を持病にもっていたが、息子達が巻き起こす様々な問題による心労で、これを悪化させた。

ジョージ3世は徐々に視力や聴力などを衰えさせ、ついにはそこにいるはずの無い者の姿まで見て、絶叫するようにまでなってしまう。