四金刚殿建于元代，公元1637年重建，曾植榆树百株，坐北朝南，占地约有250平方米，重檐庑殿顶，正面有四扇大门，前两册各有石鼓、枫树相对，殿立四根楠木大柱，高约10米，粗约0.8米，殿内东西两端的砖台上分塑四大天王彩色神像，形态威严生动，高大6米左右。各地的庙宇也都有 这样的神佛，但金泽的四金刚神像特别高大。这庙殿有四层楼那么高，整座殿气势宏伟，庄严巍峨，乃苏杭建筑所不及，为江南各地所少有。
    金泽的四金刚殿，民国时期还有庙董管理，定期维修，佛像涂金，香客烧香，络绎不绝，后逐渐冷落。
有这样一个故事：当时警察局要追捕一个犯人，久查无着，无法归案，谁知道犯人隐藏到四金刚殿，钻进了四金刚佛像的头部。从这个故事可以看出这佛像之大。后来四金刚殿无人管理，一些顽皮的小孩做游戏，爬到佛像的身上，站在佛像的手掌上，由此佛像逐渐被损坏。
    金泽四金刚殿的损坏，令当地老人甚为叹息，现在在要雕塑这样的大佛，困难太多了。