此前的洪武三年（公元1370年），活动在朝鲜和我国沿海的日本海盗集团一倭寇突然登陆福建祥芝的蚶江，开始对东南沿海地区进行骚扰。由于倭寇的不断侵入，沿海居民的安全受到了严重的威胁。为了保护人民的生命财产不受侵害，明太祖朱元璋遂于洪武十七年（1384年）“命信国公汤和巡视海上，筑山东、江南北、浙东西沿海诸城”（《明史》卷九十一）。汤和就此事就教于熟悉海上事务的方国珍从子方鸣谦，方鸣谦认为：“倭海上来，则海上御之耳。请量地远近，置卫所，陆聚步兵，水具战舰，则倭不得入，入亦不得傅岸。近海民四丁籍一以为军，戍守之，可无烦客兵也”（《明史》卷一二六）。汤和至浙江后，“选丁壮三万五千人筑之，尽发州县钱及籍罪人赀给役”（《明史》卷一二六）。洪武二十年（1387年），“汤和还，凡筑宁海、临山等五十九城”（《明史》卷三）。桃渚城就是此时所筑成的五十九城中的一城，隶属于临海的海门卫。《明史》卷四十四说：“……桃渚千户所，洪武二十年九月置”。《明实录》亦谓：“洪武二十年……九月，筑台州健跳、桃渚土城，各置千户所以防倭”。但当时的桃渚城并不是现今的桃渚城，当时所筑的桃渚城坐落在距今桃渚城东南方向10·56公里的上盘镇新城村旧城山，距海岸仅1公里许。该城“三面滨海，东临圣塘门，接轻盈山，南襟海涂，北扼桃渚港”（民国《临海县志》），百姓称之为“下旧城”。永乐七年（1409年）九月，“浙江卫所五，飓风骤雨，坏城漂流房舍”（《明史》卷二十九）。从地形上看，这里所说的“浙江卫所五”，桃渚城当是其中之一。因过于近海，既不利于防守，又濒遭台风海潮的袭击。桃渚城随后进行了迁移，内迁至今桃渚镇中城村，即所谓的“中旧城”。桃渚城的这次迁移，具体时间不详，估计是在永乐二十二年（1424年）。永乐二十二年（1424年），朝廷“诏天下都司卫所修治城池”（《明史》卷八），此时应当是桃渚城内迁的最好时机。内迁后的桃渚城，虽然离海岸远了许多，但由于每逢涨潮，城之四周仍为海水所围，安全还是得不到保证。正统四年（1439年）五月，大股倭寇进犯桃渚，初为浙江佥事陶成所败。陶成“密布钉板海沙中。倭至，舣舟跃上，钉洞足背。倭畏之，远去”（《明史》卷一六五）。但倭寇毕竟人多势众，桃渚城最终还是被攻陷。致使“官庾民舍，焚劫一空”（明·佚名《嘉靖东南平倭通录》附录《国朝典汇》），造成“城野萧条，过者陨涕”（明·佚名《嘉靖东南平倭通录》附录《国朝典汇》）的悲惨局面。正统七年（1442年），朝廷遣户部侍郎焦宏、监察御史高峻备倭浙江。他们认为桃渚城“在临邑海崖之巅，势甚孤危，适足以饵寇，且潮汐冲激，弗克宁居”（明·黄淮《介庵集》卷九《桃渚千户所迁城记》）。因而主张再次迁城，“乃集藩宪及都司臣僚，佥议内徙十里许，地曰芙蓉，规划既定，召匠抡材，乃筑乃构，聿底于成”（明·黄淮《介庵集》卷九《桃渚千户所迁城记》）。这次的迁建至第二年结束，也是桃渚城的最后一次内迁，成为了初具此时规模的桃渚城的雏形。嘉靖二十六年（1547年）十二月，倭寇进犯“宁、台二郡，大肆杀掠”，致“二郡将吏并获罪”（《明史》卷三二二），而桃渚城则经受住了考验。嘉靖三十四年（1555年），谭纶出任台州知府。同年七月，戚继光调任浙江都指挥使司佥书，司理屯田。次年，以足智干练升都司参将，镇守宁波、绍兴、台州三府。并在谭纶的节制下，屡次领兵救援台州。嘉靖三十八年（1559年），倭寇再次入侵，桃渚“被围七昼夜，城几岌岌，时千户翟铨膺是城守，羽书告急”（明·何宠《桃渚新建敌台碑记》）。戚继光自宁波“统大兵压境长驱，以破巢穴，城赖以全，活者数万”（明·何宠《桃渚新建敌台碑记》）。歼灭入侵的倭寇后，戚继光于桃渚“补弊救偏，兴革利弊，立体统，树勤职，谨斥堠，练士卒，坠者修，废者举，增城浚濠，靡不周悉”（明·何宠《桃渚新建敌台碑记》）。后又以桃渚城“东西一角为薮泽，蔽塞不通” （明·何宠《桃渚新建敌台碑记》），因而用官府空基易价作为费用，建敌台二所。使桃渚城“城上有台，台上有楼，高下深广，相地宜以曲全，悬瞭城外，纤悉莫隐藏”（明·何宠《桃渚新建敌台碑记》）。嘉靖四十三年（1564年）秋季，卫指挥柳应时又以督造官的身份对桃渚城进行了大规模的修缮，并“以功世袭（桃渚千户所）千户”（清乾隆《柳氏宗谱·鹤乔先生自序》）。此后，历经多次的修葺与增补，直至二十世纪五十年代大跃进时期，桃渚城的软墙和垛口全部被拆，形成了现今的形制和规模。
禅房村是山西省朔州市怀仁市金沙滩镇下辖的行政村，城乡分类代码为220，为村庄。区划代码为140624102205，居民身份证号码前6位为140624。邮政编码为046000，长途电话区号为0355 ，车牌号码为晋D。禅房村与马庄村、兴旺庄村、魏庄村、铺上村、刘晏庄村、孟庄村、胡寨村、南家堡村、第三作村、盐丰营村、小东庄村、一间房村、尚南头村、日中城村相邻。
2020年8月26日，山西省爱国卫生运动委员会命名禅房村为2020—2022周期山西省卫生村。
禅房村附近有金沙滩墓群、刘晏庄崔府君庙、金沙滩旅游区、华严寺砖塔、鲁沟旅游村等旅游景点，有怀仁羔羊肉、怀仁陶瓷、墨玉瓷、闪塌嘴、怀仁糖干炉等特产。