大约一个多月后，陈独秀裹着一件厚厚的大衣，脖子上缠着一条围巾，突然来到中央机关，使同志们既惊又喜，不禁七嘴八舌地问他：“总书记，你到何处去了？”
他笑着解释说：“生了伤寒病住进医院，以为会很快好的，同时，也怕给大家添麻烦，所以，没有告诉机关，请大家原谅！”
然而，大家对陈独秀的突然“失踪”仍感是个谜，后经多方探寻，才得知他和一位年轻貌美、亭亭玉立的未婚女医生寻欢作乐。因陈独秀有胃病常常去医院请这位女医生看病，天长日久，两人感情就渐渐粘合在一起，同时，这位年轻的女医生也被陈独秀之名所迷惑。这样，陈独秀就轻而易举地与其同居，作乐。1927年大革命失败后，陈独秀也被撤了职，这位年轻女医生就不得不嫁于他人了。
这位女医生姓甚名谁，一直是个谜。直到六十年后，这位女医生的养女陈虹出现，才使真相大白。她叫施芝英，安徽人。她与陈独秀由病人而恋人而情人，由崇拜而生恋爱，由爱恋而同居，直至1927年3月才分手。施芝英是陈独秀四个妻子中，唯一活到解放以后的人，于1973年病故。
据后来有关部门查明，施芝英亦是安徽人，居住上海安澜路一条长长的里弄里的一幢楼房，能讲一口上海话，也会讲普通话。她家全是红木家具，其家底看样子不错。据邻里老人回忆说，她家曾挂有她20多岁时的一张大照片，引人注目。照片上的施芝英，年轻俏丽，光彩照人，身着高领旗袍，手腕上戴有好几只镯子，手指上戴有猫眼宝石戒指，看上去像是富家女子。事过几十年之后，“文革”中人们才发现她的这幅大照片后面，还夹有陈独秀送她的一帧照片。1973年，她死于脑溢血。
这也许就是高君曼指责陈独秀“在经济上接济心爱的人，过天上的好日子”吧！
1937年8月，陈独秀从南京监狱里释放出来到了武汉，十三四岁的陈虹来找陈独秀，自称是陈独秀的女儿。陈独秀告诉她：“你不是我的女儿，你是你母亲的女儿。”
有人说陈虹可能是个丫头。不过，据见过陈虹的人说，陈虹脸部鼻子以下，很像陈独秀。当时武汉反动报纸还登载此事，说陈独秀“拉屎不揩屁股”。
高君曼悉知此事，面对爱情不专一的陈独秀，岂能容忍，怎能不伤心落泪，心灰意懒！虽经汪孟邹多次劝解，仍然无法愈合，关系急剧恶化。
1927年“四一二”反革命政变后，大革命失败，由于陈独秀犯下右倾错误，受到了党内的批判和处分，一下子变得情绪消沉起来，由此一蹶不振，这标志着他轰轰烈烈的政治生涯，一落千丈。同时，蒋介石又悬赏三万大洋捉拿陈独秀，于是，他不得不改名易姓为王坦甫，从沪上渔阳里秘密地隐居岳州路永兴里十一号。谁料，陈独秀隐居永兴里不久，却又与同居一里的邻居、上海英美烟草公司不到20岁的女工潘兰珍搭上关系，直至相爱、同居。这使得高君曼气恨更加难平，愁肠寸断，与陈独秀大吵一顿，声泪俱下，感情彻底破裂。高君曼怒不可遏地责骂陈独秀：
