1977年，赵雅芝又出演了吴宇森的电影《发钱寒》，此片斩获了当年的香港年度票房冠军。从这之后，赵雅芝在电影这条路上走得越来越顺利，和当红男演员合作出演了诸多经典影片。而赵雅芝和黄元申彼时都是当红香港明星，早在电视剧《大报复》拍摄时二人便有过一面之缘。1978年。两人再次在《剥错大牙拆错骨》剧组相遇，这次他们在剧中多了不少对手戏。黄元申作为前辈，戏外少不了指点一番赵雅芝，这期间开始有了一些“风言风语”。
有趣的是，1979年，黄元申在电视剧版《绝代双骄》中饰演小鱼儿，赵雅芝在电影版《绝代双骄》饰演铁兰心。角色和现实的关联，这是不是就暗示了两个人会错过彼此。后来，赵雅芝被爆出经常和黄汉伟吵架，疑似感情不合，1980年，两个家庭都迎来了第二个孩子。黄元申家里因这个孩子和妻子的感情升温，另一边赵雅芝却最终和丈夫黄汉伟离了婚。直到1983年，赵雅芝出演《女侠花木兰》时和黄锦燊相识，后来与其成为了情侣。
赵雅芝和黄锦燊这期间，她和郑少秋的“荧屏情侣”也有过绯闻，另一边还和黄元申“纠缠不清”，一时间消息满天飞，搞不清楚是真是假。
就在赵雅芝为黄锦燊生下第三个孩子后，本来她打算先在家带孩子，安安稳稳的生活时，“绯闻”又来了。赵雅芝的前夫黄汉伟离婚后过得并不如意，不仅感情失败，他的生意上也有亏损。于是他就向朋友哭诉这些事情，还把他和赵雅芝以前的往事说了出来。他的这个朋友恰好是在杂志周刊工作的人，也不知道黄汉伟是不是故意的。没过几天，黄汉伟的这个朋友把这些事刊登了出来，第二天发在了报纸上，这些事情里面自然包括了赵雅芝和黄元申的事情，一下子引起了舆论哗然。就这样，根据这些报道，人们愈发笃信黄元申“迷恋”上了赵雅芝，也有影迷力挺两人，观众们为了这事越吵越烈。然而，黄元申却在彼时做了一个颇为惊世骇俗的事情：他在人气巅峰时突然宣布“退出娱乐圈”，这还不算，他居然还宣布从此遁入空门，要知道当时他可是有妻有女，这个决定可比单纯的息影要震撼的多。
