1794年与爱尔兰喜剧女演员多罗西亚·乔丹恋爱,共同生活了20多年,1772年《王室婚姻法》规定,各王子的婚姻必须得到君主的同意,否则婚姻无效。而一些乔治三世的王子,包括威廉王子在内,选择了宁可不要婚姻也要与心爱的女人同居。于是,包括威廉王子在内这些没结婚的王子,也就不再有希望被考虑在英国王位继承人的范围之内。他们生的十个孩子都被当成私生子,包括五个儿子和五个女儿,自然,这些孩子都没有继承王位的资格,他们都姓“菲茨格拉伦斯”。现任英国首相戴维·卡梅伦就是其众多后代之一。后来发现他兄长没有继承人,他有继承王位的可能,这才于1811年和乔丹夫人脱离关系。为此他受到舆论的谴责,当时的一首流行民谣写道:“你为什么扔下一个可伶的女子,要知道伤心流泪的是陪伴你二十年的妻子,他放弃了青春和永恒的魅力,甘肆禅升愿成为你怀中温顺的伴侣。”以不再重返舞台为条件,多萝西亚获得了经济补偿,还有女儿们的抚养权。不过,风韵犹存的女演员最终还是难以克制对演艺生活的喜爱,还是重返了舞台。威廉王子于是收回了对女儿们的抚养权。1816年,多萝西于终于死于艺术之都巴黎舞台上 。
在这场王子竞赛中,威廉王子占有很大的优势,首先,他两个长兄无后,并且他们都与妻子疏远,亦无再有合法子女的可能。所以,如果威廉王子的寿命足够长的话,他将肯定是未来的国王,那么,他的后代当然也就理所当然是未来的英王继承人了,而从这位海军国王比他两位长兄强壮得多的身体来看,这一切都是很可能的。
46岁的威廉考虑结婚,但四处碰壁,他与乔丹夫人20多年的事实婚姻是横亘在他与许多女子之间的障碍,他的七弟剑桥公爵,被派到德国去为三哥威廉王子求娶一位新教公主。这一选择,被威廉王子大笑着拒绝了,因为,剑桥公爵自己爱上了那位漂亮的德国公主,很快,小弟弟剑桥公爵就与那位德国公主结婚了。人们一致认为,威廉王子应该找一个善良的,能顾家的,爱孩子的(那时威廉王子的十个孩子大都还未成年)的女子为妻。直到1818年,一个可怜的,岁数只有他一半的稀里糊涂的萨克森-麦敏根的阿得莱德公主接受了他的求婚,阿得莱德相貌丑陋,皮肤粗糙,但威廉已经别无选择,他需要一个合法的继承人。这段婚姻幸福美满,一直延续了二十年,直到威廉四世去世。新的公爵夫人,把威廉王子和他的财政大权都掌握在手,他们结婚的第一年,生活在节俭的德国,过着俭朴的生活,威廉王子欠下的债务,很快就还清了。袭塌威廉王子还得到了议会批准给他夫妇的津贴。威廉王子也从此过上了幸福健康的家庭生活,远离了情妇。他们婚姻中也不都是晴朗无云,他们婚姻的最大悲哀是他们的孩子都夭折了。所以,威廉王子没有自己的继裂老承人。他们的两个女儿,都夭折了,而阿德莱德还流产了三次。
威廉王子的长兄威尔士亲王乔治,于1811年成为摄政王。同年46岁的威廉王子晋升为海军元帅。不过,虽经他再三恳求,他却始终未被批准参加反法战争。1820年,老王乔治三世去世,乔治王子即位成为乔治四世。威廉王子成为排在他二哥约克公爵弗里德里克王子之后的第二位王位继承人。1827年,弗里德里克王子去世,六十岁的老王子威廉成为王位继承人。就在这一年,首相乔治·坎宁任命威廉王子掌管海军部。威廉大权在握,企图独立掌管海军事务,尽管法律要求他必须在征得至少两位海军部成员的建议后再采取行动。威廉王子的举动引起国王的不满,1828年,乔治四世通过当时的首相,威灵顿公爵要求威廉王子辞职。不管遇到了多大的困难,作为海军统帅,威廉王子的所作所为非常令人称道。他废止了军舰上不合理的军规;他还批准了第一艘蒸汽战舰,并极力争取皇家海军拥有更多的蒸汽战舰。威廉王子还支持《天主教解放法案》。