在共产国际的帮助下，1926年12月，日本共产党召开第三次代表大会，决定重新建党。此后，日共内部又产生了以福本和夫为代表的“左”倾机会主义，企图把这个党变为脱离广大工农群众的少数激进知识分子的政党。他们还认为，日本的资本主义已经处在“急剧没落”的阶段，从而做出“革命已迫在眉睫”的主观主义判断，使日共陷入孤立。1927年，日共批判了福本的错误，组成了新的中央委员会。后来，天皇制政府为了准备侵华战争，在1928年、1929年、1932年，又对日共进行多次全国性大规模镇压和不间断小规模镇压，使党的组织和党所领导的群众团体遭到严重破坏。直到1935年，日共最后一个中央委员被捕，《赤旗报》被迫停刊。这样，从1935—1945年日本战败投降的10年间，日本共产党的全国性统一活动处于中断状态。虽然许多优秀的共产党员和党的领导人惨遭杀害，也有一些人发表叛党声明，放弃革命信念，但日本主要的共产主义者在国外、在狱中、在秘密状态下都坚持了艰苦卓绝、不屈不挠的斗争，为重建日本共产党、探索日本的无产阶级革命道路作出了不懈努力。
实际情况表明，在第二次世界大战爆发前，得到马克思列宁主义一般指导的日本共产主义者，要科学地分析日本社会，认清日本革命的性质，制定出符合日本国情的革命纲领，是相当困难的。因为，战前的日本尽管已经是资本主义国家，但与西欧资本主义国家的国情不同。天皇制和封建专制统治的存在，决定了日本不可能有结社自由和研究自由。
