我国宪兵制度虽渊源留长，甚至可追溯至唐虞，源流至今已有数千余年。
然而真正具有现代意义的宪兵却是承袭自外国。法国宪兵制度可谓大陆法系国家宪兵制度的起源，意大利、日本等国均受其影响而采行类似之制度。
虽然法国是宪兵制度的起源地，然而我国宪兵制度则是直接承袭于日本的宪兵制度。从清朝末年开始，清廷便派员东赴日本，考察日本宪兵
制度，并与日本订立契约，聘请日籍顾问川岛浪速于光绪三十一年在天津大沽口创办宪兵学堂，正式采用宪兵名称，并奏请试办陆军警察（亦即宪兵）。次年（光绪三十二年）清廷颁布「陆军警察试办章程」，命令各地各军试办陆军警察。
民国成立之后，仍然有相关宪兵组织，惟规模均不大。北伐完成后，内忧外患仍旧交相迭乘，蒋中正先生有感于革命之武力须加以巩固，革命之内层须加以保障，于是饬命首都卫戌司令谷正伦将军筹设宪兵司令部，谷正伦将军被任命为首任宪兵司令，民国二十一年一月十六日在南京正式成立宪兵司令部，隶属军政部，统辖全国的宪兵。
宪兵司令部成立之后，谷正伦将军从宪兵司令部、首都卫戌司令部和各宪兵团中，挑选了二十多名中下级干部组成考察团，由参谋长申新禅（日本军官学校毕业）为团长，东赴日本考察宪兵制度，期间为一个月。回国后考察团草拟了「宪兵令」与「宪兵服务章程」的草稿，经军政部同意后颁布施行。「宪兵令」与「宪兵服务章程」被称为宪兵的根本大法，规范了宪兵的具体任务与职权范围。
