勃鲁盖尔将塔画在了典型的低地国家风景中。他甚至在其中一座哨塔上画了梯形墙。勃鲁盖尔 总是为专心的观画者在他的作品中添加一些细节。例如，塔的第三层，正在迎神。红色华盖下，一名修士手持圣体 显供台（领圣餐时用的贵金属架）前进。”感觉这就像现代影视和游戏里流行的“彩蛋”元素一样，不经意间，惊喜百出，是这幅画成为一种可以看很久也丝毫不会觉得厌烦，满满新鲜感的作品。
勃鲁盖尔在塔旁描绘了一座忙碌的港口，许多船只在交付建材。他长期居住于安特卫普，这座城市在十六世纪是西欧最重要的港口城市之一。在画面右侧可以看到工人正借助于一台有着巨轮的起重装置，货物从船上吊起。这个轮子起到滚筒的作用。工人们拉着绳索前行，使得轮子运动，然后起重装置也运动。十六世纪，安特卫普港也使用类似的起重装置。他将自己的生活融进作品里，平凡人的生活甚至也能在诸神的天空下变成挑战神力的“大业”，使平时常见的生活机器都盖上了一层宗教色彩。
在塔的高层，施工如火如荼，这座塔甚至已高耸入云。新砌的砖块仍然是鲜红色的。因为施工过程太长，低层的砖块已经变灰。在高层，可以看到一条一条的走廊，但不像是还有别的场地在建。这些走廊仅仅用于登上更高层。圣经记载的这座塔，外形可能源自巴比伦大“金字形神塔”：这种巨大的建筑，长宽高或达91 米。塔顶是一座神殿。楼梯和斜栏杆绕着建筑面上升，直达圣所。 十六世纪，这种建筑物已不复存在，但有些相关描述保存下来。勃鲁盖尔从另一种著名建筑物中找到了建筑学灵感。那就是古罗马斗兽场。罗马斗兽场应该给勃鲁盖尔留下了深刻印象。1550年之后不久，他进行了意大利和法国游学之旅。在永恒之城，勃鲁盖尔应该见过象牙雕的小版本巴别塔，不幸的是这件作品没有保存下来。关于巴别塔这幅杰作，更有意思的是动画大师大友克洋参照勃鲁盖尔的这幅作品绘制了一幅描绘塔内部结构的作品《巴别塔之内》。
