1996年11月任第二次桥本龙太郎内阁厚生大臣。2000年4月就任清和会(森派)会长。2001年4月26日就任第87届内阁总理大臣。2002年9月17日,赴平壤与朝鲜民主主义人民共和国国防委员长金正日进行了首次日朝首脑会谈,签署《日朝平壤宣言》,成功带回被朝鲜绑架的5名日本人。此后从朝鲜政府接受大量作为土特产的松蘑。2003年11月19日,第2次小泉内阁组阁、就任第88届内阁总理大臣。2004年1月决定派遣日本自卫队前往伊拉克的萨玛沃。2004年10月在伊拉克的日本人被绑架,小泉提出不屈服于‘恐怖活动’而坚决拒绝恐怖份子提出的‘日本自卫队从伊拉克撤退’的要求,被绑架日本人被害后,在野党猛烈追究小泉的责任。2005年4月23日赴雅加达与中华人民共和国国家主席胡锦涛进行首次首脑会谈。2005年8月8日,因“邮政民营化关联法案”被参议院否决而解散众议院,操纵自民党总部未提名37位不支持本项法案的同党议员参与选举,但提名一批年轻候选人作为‘刺客’参与选举,结果在2005年9月11日的国会大选中大胜。
自民党赢得国会480个议席中的296个席位。加上执政同盟公明党的31席,改宪势力掌控了梦寐以求的国会2/3绝对多数。2005年9月21日小泉就任第89届内阁总理大臣。第3次小泉内阁启航。
2006年8月15日,小泉不顾中、韩反对,前往东京靖国神社参拜,登上主殿,停留约15分钟,签名‘内阁总理大臣小泉纯一郎’,并自费捐赠三万日元献花费。引起中、韩强烈不满;新加坡表示遗憾;澳大利亚感到不快。2006年9月26日,小泉下台,安倍晋三接任内阁总理大臣一职。