南宋皇帝宋高宗南渡，在相国吕颐浩的护驾下，乘龙舟来到金泽，见金泽景色优美，绿水见底，稻谷如金，要求停留驻歇。相国吕颐浩将自己的住宅建造在金泽，他认定金泽是“风水宝地”以便告退时养老。后南宋建都临安，即现在的杭州，政局暂时稳定，为发展佛教，吕颐浩将自己住宅，改宅为寺，以自己之名，命寺为颐浩寺。江南大地，寺庙数以万计，但用相国之名命名，唯有金泽古镇。颐浩寺到元代，全力扩建，到明代大力增建。这跟相国之名命寺，有很大的原因，这既是佛教的继往开来，又是政治上的安抚政策。国家重视佛教，人民信仰佛教，以达到国泰民安，巩固政权，安居乐业，这是各个朝代的建国策略之一。颐浩寺的结构布局，工程浩大，气势恢宏，这5048间寺院房舍，有条不紊，错落有致，这是古代建筑的辉煌艺术。 
    颐浩禅寺有七百多年历史，经受历代战乱兵灾，到民国时候，仅存三棵银杏树、一段“不断云”和一块古石碑。近年来，随着宗教信仰政策的落实，广大佛教信徒的要求，青浦县人民政府于192年批准，重建颐浩寺，建造了观音殿及两座偏殿，还造了山门，使寺院初具规模，恢复开放。中国佛教协会会长赵朴初为新建的寺院题写了“颐浩禅寺”。