衢山岛正是《幼学琼林》中所说的“蓬莱弱水，惟飞仙可渡；方壶圆峤，乃仙子所居。” 古书记载“蓬莱是海中之岛，海水洪涛所环、高峻、形如壶器，惟飞仙能到。” 正是这海上仙岛、佛山之境衢山岛的逼真写照。
神话传说有着必然的现实因素。五六千年前，衢山岛就有人类活动的痕迹，衢山岛上的孙家山等遗址出土的文物就是明证。衢山岛上的先民开创了衢山岛的文明历史，丰厚了衢山的文化底蕴。从此衢山岛上人类生活的印迹就一直没有中断过。商朝的玉器，秦朝的箭镞，汉朝的铜镜和卫青大将军的铜印，唐朝的陶钵，元朝的称权等文物的发现可以作为例证。而徐福求长生不老之药亦到过蓬莱，登临朐山。隋大业五年（609），大将陈稜率军出师流求（台湾故称），上衢山岛留驻，后岛上建有他的灵庙。鉴真大师第三次东渡，船在衢山岸边触礁，爬上衢山后，得到岛上渔民的救助和岛上僧人的帮助。而《大唐故程夫人墓志铭并序》 的发现等等，足见衢山历史悠久，文化深厚。
衢山，唐时属明州鄮县蓬莱乡，宋、元时属昌国县蓬莱乡。旧称岣山，或朐山。地名典籍解释说，“岣山为南岳衡山主峰岣（嵝）山之称，借岣山名岛，意为‘蓬莱’的南岳”。朐山，以“岛状似古代车轭两边叉马颈的曲木”得名。明清时又称衢山，“该岛四周海洋开阔，可通巨轮，如通衢大道之意”。衢山港湾乃是历史上南来北往的海上重要通道。
衢山岛在烟波浩淼之间，碧波雪涛怀中，景象壮美，正如大唐诗人李白所描绘的那样 ：“蓬壶来轩窗，瀛海入几案。烟涛争喷薄，岛屿相凌乱。征帆飘空中,瀑水洒天半。”山秀水明，物产丰富，景象壮观。而又天高皇帝远，这里“虎狼不产，经暮夜而无恐；兵燹不至，处乱世而无忧”，实在是海上桃源，人间仙境。在大陆兵荒马乱的年代，人们特别向往桃花源式的生活环境，因此寻求这种出世境界的不在少数。衢山在唐宋之前就已经甚是繁盛。
衢山岛位于浙江省舟山群岛新区中北部，处长江、钱塘江入海口外缘，背靠沪、杭、甬经济区。衢港是昔日大黄鱼的主渔场，那“无数渔船一港收，渔灯点点漾中流。九天星斗三更落，照遍珊瑚海上洲”的景象灿烂过一个时期。而如今，衢山又是长三角重要的海上开放门户，衢山岛作为港口资源大岛，按照十二五发展规划纲要，被确定为港口物流岛来布局发展，围绕这个战略地位，衢山镇正加快港口项目开发，以项目推进港口物流强镇建设，以项目带动一方致富，全面提升岛域经济社会协调和持续发展，一个现代化的海上仙岛将会以崭新的面貌出现。