AB团很快开始动作。1927年1月国民党江西省第三次代表大会召开，段锡朋倚仗后台撑腰，用呈请蒋介石圈定的办法，把获多数票的共产党人和国民党左派大部赶出省党部执行委员行列，只留下三人，反让得票较少的AB团成员占据多数。接着派人分赴各处，改组地方党部，还要夺取工运、农运、妇运领导权。中共自然不答应，引出一场场风波冲突。直至3月6日AB团的人和蒋介石属下一起枪杀了赣州总工会委员长，共产党员陈赞贤，17日又暴力占领国民党九江县党部。中共和国民党左派决定反击了。
左派主导的武汉国民党中央早就宣布江西圈定党部执委“违反纪律”，此时又公开指令江西党部“着即停止职权”。中共和国民党左派便立刻策划推翻AB团统治。
1927年4月2日的南昌，左派民众声势浩大，公开喊出“打到蒋介石！”“打倒反动省党部！”口号，直逼省党部，将其团团包围。守卫士兵开枪也阻挡不住，群众一举攻占省党部。段锡朋等从后门跳上小船，不得不逃离南昌。
AB团就此土崩瓦解，再没有以团体形式存在。但是一些AB团分子后来卷进权力斗争，他们在国民政府内的对手继续称其为AB团。江西中共组织也对AB团印象深刻，数年内始终将AB团作为重要敌人，认定它还在积极活动。江汉波就对中央报告说：“吉安城市为赣西AB团活动的大本营。”
如此戒备之心，终于在反“富农”如火如荼的1930年初，让AB团的名号在赣西南苏区重新风行。
