然而和胜和内部依旧不安定，934年，过分壮大的和胜和内部一个以四邑人为主的堂口和安乐公布脱离和胜和，虽经此分裂后和胜和仍然是和记的主流。此时，和胜和变成以客家人与围头人" src="https://img.phb123.com/uploads/allimg/170822/17-1FR2111GI09.jpg" style="width: 602px; height: 381px;" />
七十年代后，吴锡豪的毒品生意已经涉及中国台湾、泰国一带，势力也迅速扩张。好景不长，1973年香港廉政公署成立，严厉处理了警队内部的贪污、勾结黑帮等，随后开始大力度打击犯罪。1974年年底，吴锡豪从中国台湾返回香港后被捕，整个集团被判刑124年,其中吴自己被判刑30年。1991年因肝癌末期，获香港港督特赦出狱。出狱25天后，因病情恶化去世。
整个字头因众多骨干被捕而元气大伤，随之衰落。据某研究香港黑社会的书籍统计，到了八九十年代“义群”人数已经降为千人左右。
