1974年，王近山渐感身体不适。南京军区总院的护士经常一大早赶到他家里，趁他还在被窝里的时候为他打针，并做一些简单的检查。但是，一到钟点，不管完了没有，也不管你如何劝说，他都会立刻上车去军区上班。经化验，他的病情非常严重。10月30日，医生们把王近山堵在家里，然后“强制”送他到总院进行彻底检查。 11月7日医院决定实行手术检查，腹腔一打开，结果是胃癌。不幸的是，术后他的肠子又破了，造成肠漏，大便从其中不断地漏出。
1978年初，王近山病重，中央领导极其关心。叶剑英打电话到南京军区说：“吃什么药给什么药，南京不行就送到北京治疗。”再次复出的邓小平也多次打来电话询问病情，十分关注将军的生命安危。
1978年5月7日，中央军委训练部主任宋时轮到南京时对军区领导同志传达了邓小平对王近山的评价：“二野在解放战争中谁的功劳大?是王近山同志，在许多艰苦战斗中最后是王近山同志去完成的。” 王近山病重期间，老首长、老部下、老战友纷纷从各地赶到南京看望他，董必武的夫人何莲芝和谢觉哉的夫人王定国也曾专程赶来。
韩岫岩从北京赶来想看望他时，表示愿意为他康复出一份力气，但王近山至死不愿再见发妻一面
1978年5月10日，将星殒落，一代名将与世长辞……
王近山去世后，邓小平在讣告上特注：王近山为军区顾问
5月17日举行追悼会。叶剑英、邓小平、刘伯承、徐向前、李德生、彭冲、宋任穷等都送来了花圈，而其他生前好友送来的花圈就更多了，摆满了悼念大厅。追悼会的规模原定500人，实际参加1000多人。俗话说清官难断家务事，夫妻之间的感情恩怨不是外人可以随便所了解的。假如一对夫妻的感情真的已经终结，那么靠舆论也好，靠组织也好，全部都是留人不留心的做法，不是吗?!你还要不要你的职位?荣誉?军衔?当然会有人因此而退缩，人是回来了，但能够挽回他(她)的心吗?中国人五千年来有个很难说好或不好的习惯：宁劝人和不劝人离。当时那么多人站了出来，对王近山警钟长鸣醍醐灌顶，说穿了无非是希望王近山在爱情和名利之间选择后者，不要作当代陈世美而已，有了那么多外界因素，这段感情帐还算得清吗??
