汉成帝继位后,匡衡继续积极主动的进谏,也是因为匡衡事业心太强,导致他疏忽了家庭教育,他的儿子因为匡衡的不负责任,成了一个颓废少年,他的儿子叫做匡昌,靠着匡衡的关系做担任越骑校尉,由于他喝的酩酊大醉,与人争执,神志不清的杀了人,被捕入狱。
跟匡衡一伙的官员因为与匡衡交好,所以想要设法将他儿子救出来,只因方法是在是太笨,而且还留下了不干净的痕迹,被人发现,禀告了皇帝,那些大臣也只好请罪,希望皇帝能够宽恕他们,汉成帝念在匡衡劳苦功高的份上,便饶了他教子无方的之罪。
除了教子无方不是个好父亲之外,匡衡也算不上是一个好官,他当年其实也做过不少坏事,当年他被封为安乡候的时候,给他了一块大面积的土地,以南边的闽佰为界限,可是在当时的地图上,闽佰是平陵佰的边界,这样的情况下,匡衡一下子多了四百多顷的土地,匡衡获得了这么多土地,不仅没有及时上报朝廷,还隐瞒了十几年,最后被人告发,治了他专地盗土的罪名,贬为庶人。