此时，时传祥又有了一个新的身份：“捍卫毛择东思想红色职工团”的领导人。这个组织是1966年11月15日成立的，号称有30万人，旗帜鲜明地保卫刘少奇。
不过，随着刘少奇的被打倒，时传祥的日子也开始不好过了1966年12月底，“中央文革领导小组”召集北京部份大专院校革命师生举行座谈会，陈伯达、江青、戚本禹、刘志坚、张春桥等人出席了座谈会。在会上，江青的“时传祥已经完全成为一个工贼，他已被收买”开始了时传祥长达8年的噩梦。
从1967年新年开始，时传祥常被押上汽车，脖子上挂着写有“工贼”、“粪霸”字样的大牌子，拉至京城各大街小巷亮相、游斗。半年之内，被揪斗200多次。他的所谓罪名有：“时传祥的岳母死了，刘少奇给过500元安葬费”，“时传祥解放前是粪棍”，“解放前时传祥穿长袍马褂，有两辆小车”，等等。一夜之间，时传祥变成了“千古罪人”。
除了被公开批斗，时传祥还被剥夺了劳动的权利，并在暗室接受审讯和拷问，甚至用三角皮带缠上铁丝鞭打他，逼他交代“罪行”。
至1971年“九.一三事件”以后，时传祥已被迫害得大小便失禁，身体极度虚弱。造反派们决定将他遣送回山东老家。然而，人未到山东，北京的电告已到：这是江青点名的工贼，要按工贼处理。当时时传祥病势很严重，当地的诊所都不敢给他治疗，家属也受到牵连，小儿子不能参军，闺女没资格升学。
因为耽误了治疗，1972年秋，时传祥已是四肢瘫软、言语困难，甚至精神上也出现了异常。后来在周恩来的过问下，才被接回北京养病。1975年5月19日，时传祥在北京病逝，终年60岁。
一个本分、老实、肯干的掏粪工人就这样死了，而当时握住他双手的刘又何尝不是呢?这到底是谁之错呢?
