首任国家主席由毛泽东担任，朱德任副主席。后来因为国事繁忙等原因，毛泽东决定辞去国家主席，并且发表声明。1959年，全国人大会议上，刘少奇当选为新中国第二任国家主席，宋庆龄和董必武任副主席。
直到1966年，国家主席根据全国人大及其常委会决定，公布大量法律法令，召开过多次国务会议，接见不少外国使节，履职正常。“文革”爆发后，国家主席刘少奇被打倒，此后，国家主席长期空缺。1975年，新中国颁行第二部宪法，正式取消国家主席的建制。
值得一提的是，1970年3月，毛泽东建议召开四届全国人大和修改宪法，并主张不设国家主席的职位。然而，在稍后召开的中央工作会议上，当时中国的“副统帅”林彪却坚持要设立国家主席。同年8、9月份在庐山召开的中共九届二中全会上，林彪及陈伯达继续坚持这一主张。历史学家认为，正是在国家主席存废上的分歧公开了毛泽东和林彪之间斗争局势。后来，林彪甚至图谋发动政变，最后于1971年9月13日乘飞机出逃，葬身在异国。
1978年3月5日，第五届全国人大一次会议通过的第三部宪法，未恢复设置国家主席，但把1954年宪法规定的一些国家主席职权交给全国人大常委会委员长行使。这些职权包括接受外国使节、公布法律和法令，授予国家荣誉称号等。
1980年再次决定修改宪法时，是否设置国家主席成了大问题。时任宪法修改委员会副主任委员彭真专门向邓小平请示。当时，有一种观点就认为，重新设立，会增加一个国家机关和一批工作人员，不符合精简机构的精神，并指出毛泽东反对设置这一职位
