此后不久，李夫人就去世了，武帝以皇后的规格将她安葬。汉武帝对她难以忘怀，命画师作其画像存于甘泉行宫。
武帝对李夫人思念成痴，为了能与李夫人再续前缘，不能免俗地将此事寄托给了鬼神。据《汉书》中记载，武帝为求见李夫人一面，曾命方士为李夫人招魂。《史记》中也有招魂一事的记载，但两者记载有些出入。据东晋《拾遗记》载，有方士名李少君，以十年之力，于海外求得奇石，刻李夫人像以献武帝，栩栩如生。
李夫人去世以后，她的兄弟们并未如其所愿，受到她的余荫。李延年及其弟李季皆因淫乱后宫罪被诛杀，被灭族。贰师将军李广利因在攻伐大宛，未被诛杀。李广利回朝后，汉武帝已将李氏家族灭族。武帝后来可怜其家，于太初四年（前101年）封李广利为海西侯。《史记外戚世家第十九》：“李夫人蚤卒，…..兄弟皆坐奸，族。是时其长兄广利为贰师将军，伐大宛，不及诛，还，而上既夷李氏，后怜其家，乃封为海西侯。” 征和三年（前90年），李广利受命出兵五原伐匈奴，兵败投降匈奴。消息传到汉廷，武帝诛灭广利全家，李氏家族再次被灭。
李夫人的美貌对汉语的发展也贡献极大，赞美李夫人美貌的成语有：
倾城倾国：《汉书•外戚传》：“北方有佳人，绝世而独立，一顾倾人城，再顾倾人国。”用于形容女子容貌极美。
姗姗来迟：《汉书•孝武李夫人传》：“立而望之，偏何姗姗其来迟。”用于形容女子走路缓慢从容的姿态。
绝世佳人：《汉书•外戚传》：“北方有佳人，绝世而独立“。用于形容当世最美的女人。
