1840年日本从中国鸦片战争失利中得到教训，看到了改良"兵制与兵器"的重要性。1853年6月，美国军舰炮击鹿儿岛。第二年，英、美、法、荷联合舰队又向下关轰击。日本蒙受耻辱，决心急起直追，效法欧美，改良兵制。当时日本还处于幕府时期。幕府决定仿照西洋军队，组织洋式兵队3个大队，包括步、骑、炮兵共计13625人，"并模仿西洋兵制，规定陆海军将校的阶级"。这是日本历史上最早设立的西欧式军衔制度。
明治维新以后，天皇根据兵库县知事伊藤博文的建议，建立起中央直辖的军队，分为陆军和海军两个军种。大元帅为最高统帅衔，授予天皇。当时的日本宪法规定，天皇为陆海军之统帅，全权定陆海军之编制及常备兵额，并宣战讲和及宣告戒严，凡有重要之军事，皆亲裁之。
明治三十一年(1898年)，日本决定废监军部，改设元帅府为最高的军事咨询机关。元帅府配备元帅若干人，陆军、海军有元帅的军衔，但是必须由日本天皇选取，从战功卓绝的或者资深的大将中选取，颁赐元帅封号，担任军事顾问及检阅陆海军等任务。由日本天皇亲自颁发元帅军衔。二战时的日本军种只有陆军、海军，没有空军。航空兵分为陆军航空兵、海军航空兵两类，并分别设立“陆航军衔”和“海航军衔”。到第二次世界大战结束日本投降时止，日本共授元帅31人，其中，陆军17人，海军13人。当时的天皇裕仁是“大日本帝国陆海军大元帅”，既是名义上的、也是实际上的最高统帅。 1931年至1945年期间日本陆军军衔，大体可分为1943年（昭和17年）以前和以后两个时期（以下简称“前期”和“后期”）。
