据说以前的五台山地区并不是清凉胜地,而是一个酷热难熬的地方,当地的百姓深受其苦。不忍百姓受苦,大智文殊菩萨便从东海龙王那里,巧妙的借了一块清凉石。从此之后五台山就变得凉爽宜人且风调雨顺,成了人们的避暑胜地。
据说这清凉石原本是龙王五个儿子,在播云布雨回来之后驱暑歇凉之物,当他发现歇凉宝石被文殊菩萨带到五台山后,就尾随其大闹五台山,直接将五座山削成了五座平台。不过文殊菩萨很快就降服了要讨回清凉石的他们,还让他们分别住在五座台顶。
五龙王被安排在最高的北台,专门掌管五台山的耕云播雨,人们为了感激他,就在五台山为他修建了庙宇。五爷庙始建于清朝,在民国重修的时候,曾建了殿外前庭。在大殿里面,除了供奉金脸五龙王以外,在他的背后左右排列了大爷、二爷、龙母、三爷、雨的塑像。