西晋太康三年（282年）置温麻县时，境域广阔，从闽江口连江沿海之北一直到闽浙交界，涵盖连江、宁德（蕉城区）、福安、周宁、寿宁、霞浦、福鼎、柘荣等8个县（区）以及罗源、政和2个县的一半区域。
唐武德六年（623年）重置温麻县，改名连江县，同时割原温麻县土地设置长溪县（治所在今霞浦县），不久长溪县再并入连江县，境域与西晋温麻县相同。
连江县自唐代始设5个乡：宁善、永福、太平、名闻、五贤。统20个里。宋代，宁善乡析为西宁善乡和东宁善乡；永福乡析为永福乡和南永福乡，共7个乡，统24里。元代东、西宁善乡合并为一，南永福乡改名永福乡，原永福乡的崇德四里至崇德一里依序改为二十九至二十六都，不隶乡里。全县共5个乡（统21里）、4都，此后历明、清两朝沿袭未改。
唐长安二年（702年），又割连江县北4个乡重置长溪县，治所在今霞浦县。
唐大中元年（847年），割连江县北1个乡设置罗源场（继后改永贞镇、罗源县）。北宋元丰四年（1081年），又割连江县招贤里5个图给罗源县。至此，连江县境域基本稳定。据南宋淳熙《三山志》记载，连江为望县，在福州府东北90里（市里，下同）。东西宽95里，南北长115里。东至海20里，西至怀安县界40里，南至闽县界25里，北至罗源县界45里。东南至海35里，西南至闽县界25里，东北至罗源县界120里，西北至怀安县界90里。
1936年12月，东引岛划属连江县。1937年2月，琯头以西的新道、拱屿、塘头、竹岐、阳岐、山兜、塘边、溪边等8个乡及川石岛、壶江岛两岛从闽侯县划归连江县。1941年2月，连江县第二区赤石北部之巽（屿）北（山）乡划属罗源县。1956年5月，罗源县上杭乡的漈头村划属连江县丹阳区文朱乡。其间琅岐岛曾于1956年6-10月、1970年7月-1975年12月划属连江县，后划属福州郊区。从此连江县境域稳定不变。 至2005年底，全县除马祖列岛（马祖乡）尚待统一外，共设22个乡镇（16镇、6乡）、269个村（居）民委员会。乡镇分别为：
16个镇：凤城镇、敖江镇、东湖镇、浦口镇、东岱镇、晓澳镇、琯头镇、丹阳镇、长龙镇、透堡镇、马鼻镇、官坂镇、坑园镇、筱埕镇、黄岐镇、苔菉镇；
7个乡：江南乡、潘渡乡、小沧畲族乡、蓼沿乡、下宫乡、安凯乡、马祖乡（待统一）。