1977年，未满20岁的林建岳与来自台湾的邵氏女星妞妞订婚，但后来据说被妞妞退婚。
1980年，与台湾女星谢玲玲正式结为夫妇，婚礼筵开140席；婚后育有五名子女，林母余宝珠对谢玲玲疼爱有加，可惜林谢于1995年还是以离婚收场。
1991年，被传与翁虹来往甚密，翁虹也曾表示与一位有妇之夫拍拖；另外，林建岳又与万绮雯扯上关系，有传两女为此吵架。
1991年，与袁咏仪传出绯闻，有指袁咏仪还搬往丽新集团的“瑰丽新村”居住。袁咏仪3年前接受《志云饭局》节目访问，坦承曾因贪慕虚荣，跟有妇之夫在一起。
1992年，与王祖贤交往，一年后传出同居，王祖贤更被指是第三者，令林建岳与谢玲玲15年婚姻破裂。当时林母余宝珠还爆出了经典金句：“当儿子叫鸡（召妓）！”但林王的恋情于1994年也告终。王祖贤早前接受电台访问时表示，与林建岳的一段情是美丽的回忆。
1995年，林建岳与下属林学华的恋情曝光，两人于1997年传出婚讯，至1999年分手。
1998年，林建岳结识台湾模特陈浥萍并开始交往，陈浥萍被指是介入林学华和林建岳的第三者；两年后，陈浥萍为林建岳诞下女儿。
