张学良的原配夫人于凤至担心赵四小姐的私奔有辱张家门庭,只给她秘书的地位,没有给她正式夫人的名义。但这些都丝毫没有动摇赵四小姐对张学良的爱情,她心甘情愿地以秘书身份陪伴着张学良。心胸大度、温柔贤慧的于凤至被赵四小姐的一片真情所感动,力主在少帅府东侧建起一幢小楼,让赵四小姐居住。两人还以姐妹相称,和睦相处。
为了不让赵四荒废学业,张学良将她送进奉天大学继续深造。以后,赵四成了张学良军务上名副其实的秘书和不可替代的助手。张学良与外界的许多秘密交往都交由她经办。尤其是在与红军秘密接触和其后扣蒋兵谏期间,机密文电无不经赵四小姐之手。
共度36年幽禁岁月
1941年11月,张学良先生被从湖南沅陵转囚贵州修文县,这时于凤至因患乳腺癌必须赴美国就医,当时的军统局长戴笠给赵四小姐去电:是否愿往贵州照料张学良。赵四痛下狠心,将尚未满10岁的儿子送到美国交给张学良的一个朋友,抛弃荣华富贵,奔赴贵州与张学良同度囚禁生涯,从此相伴张学良左右。