1925年5月,参加了五卅运动
。9月,在加入中国共产党后,被派赴莫斯科中山大学学习,同学包括邓小平、伍修权等,同桌是蒋介石之子蒋经国。1929年6月回国后,开始参与组织、领导蒙古地方群众斗争;任中共西蒙工委组织委员、书记。1931年10月,受王若飞指派,在西蒙从事群众、党务、军运和情报工作;曾策划1936年2月的“百灵庙暴动”;后又组建“蒙旗保安总队”,任政治部代主任,并在该部队任中共党委书记。
战争期间
抗日战争爆发后,乌兰夫率部在归绥、黑河一带阻击日军。后转战到陕北神木、府谷地区,受中共中央指派进驻伊克昭盟。1938年4月,出任中共绥蒙工委委员;同年5月,任国民革命军新编第三师政治部代理主任。1941年8月赴延安,出任陕甘宁边区政府民族事务委员会主任,延安民族学院教育长等职。
解放战争时期,乌兰夫历任绥蒙政府主席,中共晋察冀边区中央局委员,中共内蒙古工委书记等职;并在中共七大上,当选候补中央委员。1945年10月,在成功解散以博英达赉为首的“内蒙古共和国临时政府”后,乌兰夫在中共的领导下,发动内蒙古群众的自治运动;并组织成立了“内蒙古自治运动联合会”,乌兰夫并出任主席、兼军事部长。后又任“内蒙古人民自卫军”司令员兼政委、内蒙古军政大学校长等职。1947年5月,乌兰夫又领导组建“内蒙古自治政府”,并被选为主席。此后,他历任中共内蒙古工委书记、自治区政府主席、内蒙古军区司令员兼政委、中共中央东北局委员;其间,完成了内蒙古地区中共的政权建设、军队建设、和党组织的发展;他还指挥部队消灭了内蒙古地区的土匪和地方反对势力的武装,并参加辽沈战役和平津战役。