その傾向は成長するに従ってひどくなった。18才の頃には、当時演劇で名を馳せていた女優メアリー・ダービーに入れ込み、一方的に追いかけ回すようになる。

金や宝石と共に熱いラブレターをいくども送るようになるが、それらプレゼントの購入費用を全て借金でまかなっていた。

結局、この恋は実らず、むしろこのラブレターをメアリーに悪用され、ラブレターの数々を本にされたくなければ、5000ポンド支払えと要求されてしまうぐらいだった。

ジョージはこの要求に答えるだけの資金を持っていなかったため、父王に泣きつき、なんとか事なきを得ていた。

この頃のジョージは、叔父（ジョージ3世の弟）のヘンリー・フレデリック公と懇意にしていたが、ヘンリーは兄のジョージ3世とは真逆の性格の自由人で、高額なギャンブルや酒など王室には似つかわしくない悪習をジョージに教え込み、ものの見事にジョージはこの悪習に染まっていった。

酒やギャンブルに女遊び、ジョージは至る所で散財し、山のように借金を作っていった。その額は留まることを知らず、ジョージが21才になる頃にはその額は10万ポンドにまで膨れあがっていた。