怀集县有记载的历史有两千多年，其中历史是由古怀集县，古洊水县、古永固县、下帅乡（壮瑶两族）四个区族群组成的，这四个族群中，有3个遍布比较广的方言族群。
第一， 有讲下坊话（又叫怀城话，粤语混合瑶族语言的一种，跟潮汕话和闽南话有点相似。
）的古怀集县人，由怀城、连麦、中州、闸岗（有些着保留客家话）、坳仔、凤岗、洽水、甘洒、泰来（泰来话，受上坊话和壮语影响）等镇组成的下坊区，人口45万左右，面积2037平方公里，以怀集县东部、中部山区为主，马宁水、中州河交汇绥江处的怀城盆地地理位置最好，古怀集县县府就在怀城。
第二， 有讲上坊话（又叫开建话、信都话，粤语混合了客家话的一种）的古洊水县人由梁村（部分讲标话）、岗坪、冷坑（有些保留着客家话）、蓝钟、大岗（部分讲标话）、马宁等镇组成的上坊区，人口大概40万，面积711平方公里，以怀集县西北部梁村-冷坑盆地为主，乃广东省山区县中的最大平原，是稻米之乡，古洊水县县府在梁村镇永红村镇口寨洊水岗头。
第三， 有讲标话（讲爆、融合了壮侗族的部分语言一种标语）的古永固县人由永固镇、桥头镇（大部分讲桥头话）、诗洞镇（ 一部分讲白崖话）、还有梁村和大岗一部分讲标人口组成，人口约20万人。
总面积728平方公里，以山区为主，古永固县县府在永固镇。
讲标人曾多次向 *** 申请少数民族待遇，都遇到拒绝。
第四， 是怀集县北部的下帅乡（壮族，瑶族区），人口1万人，面积76平方公里，以山区为主。
怀集县最早有历史记载的是西汉汉武帝时期，汉武帝平南越，从北方迁移了一支族群，居住在仁义-信都、南丰-长安、梁村-冷坑三个相互连接的盆地，设立封阳县，县府在今贺州市信都-仁义盆地的铺门镇。
仁义-信都、南丰-长安、梁村-冷坑三个相互连接的盆地经过上千年的联婚、管治，加上南宋时期迁来大量的客家人，形成了同一种习俗，讲同一种语言开建话（上坊话、信都话，粤语混合了客家话的一种）。
东晋十六国，南北朝时期，北方大乱， *** 纷纷南迁。
北方迁来两个族群，一支就是下坊话人（怀集县下坊人和广宁县、阳山县等都是跟当地瑶族人通婚，都讲这种下坊话语言。
）居住四会县绥江流域（今四会市、广宁县、阳山县、怀集中部、东部山区），南北朝刘宋元嘉十三年(436年)，划南海郡四会县设置绥建郡，绥建郡（四会市）设立新招、化蒙、化穆、化注等数县，原属于四会县的银屯乡设立怀集县（取县域内民瑶杂居，欲长民者绥怀而聚集之意），这就是古怀集县。
另一支就是讲标话人，他们迁移至怀集县南部山区和封开县北部山区跟壮侗族的祖先百越族通婚杂居，南北朝刘宋年间(424～453年)分从封阳县分出怀集南部设立永固县（永固水一带），管治今天永固镇、诗洞镇、桥头镇、大岗镇和梁村镇部分，广宁县古水镇部分，还有封开县的长安镇部分，属临贺郡（今广西贺州）管治。
南北朝南齐把人口众多的封阳县按照仁义-信都、南丰-长安、梁村-冷坑三个盆地分为三个县，分别是封阳县（县府在贺州铺门镇），开建县(县府封开县在南丰镇)、洊安县（县府在怀集县梁村镇，管治包括广西灵峰镇等地），属临贺郡（广西贺州）管治。
隋朝统一南北，开皇九年(589)撤绥建郡，并撤新招、化穆、化注三县，分入四会县、化蒙县管治，古怀集县与四会县、化蒙县（今广宁）属南海郡（广州）管治。
唐朝初期，置齐州、威州分别设治于洊安县、怀集县（这就是我们曾经申请过的威州市由来）。
齐州管治洊安县、开建县、封阳县等地，威州管治怀集县、永固县、化蒙县等地，齐州、威州同属南海郡（广州）管治。
唐朝中期，开元二年(714年)并永固县入威州怀集县。
取消齐州和威州。
四会、怀集、化蒙（广宁）、洊安（梁村-冷坑盆地）4县隶广州。
唐朝至德二年(757年)改洊安县为洊水县（洊水就是后来的马宁水）。
宋朝开宝五年（972年）北宋灭南汉政权，并洊水县（梁村-冷坑盆地、广西灵峰镇）入怀集县，自此形成今怀集县的基本境域。
同年西面，信都盆地的封阳县入临贺县（今贺州八步区）。
南丰盆地的开建县入封川县，但不久又分裂成开建县和封川县，两县均隶属德庆州。
同年东面撤化蒙县和化穆县（这两个县都是今广宁县，广宁县要到明朝中期嘉靖三十一年(1552)汉、瑶两族人造反，镇压后才成立的）并入四会县。
开建县成了古封阳县唯一一个能保留县级 *** 的一个小县，从此开展了多次先后跟封开县、怀集县合并，又分开的闹剧。
宋元时期，开建县人一直希望想恢复古封阳县，以相同的语言、风俗、三大盆地交通方便为借口，整合开建县（南丰盆地）、封阳县（信都盆地）、洊水县（梁村盆地）、永固县（永固盆地），建立一个以南丰盆地为中心的大开建县。
开建县的想法当时获得了肇庆路的支持，肇庆路想取原化蒙县（广宁县）跟怀集县合并，重新成立一个族群大县，开建县跟原洊水县、原封阳县、原永固县合并为一个族群大县。
但此举，遭到了临贺县和怀集县的强烈反对，怀集县甚至在元朝至元二十九年（1292年拒绝跟随肇庆路，返回广东道）脱离了肇庆路的管治，加入了临贺县新成立的贺州。
开建县组建大县的希望破灭，都又不愿意跟封川县、怀集县合并，结果一直以小县存活到1961年。
而广宁县则到了五百多年后的明朝中期(1552)，才能单独建县，之前一直归四会管治。
封川县则一直想跟广信路（梧州）合并，升级为府治。
元朝之前，怀集县先后归临贺郡（贺州）、绥建郡（四会）、南海郡（广州）、肇庆路管治，元至元十六年（公元1279年）元灭南宋后，把肇庆府该为肇庆路，隶广西道，湖广行省。
怀集县改隶湖广中书行省广西道肇庆路贺州，
元朝至元二十九年肇庆路改属江西行省广东道，怀集县没有跟随返回江西行省广东道，而是选择留在湖广中书行省广西道。
明朝洪武九年（1376年），朱元璋统一南方，贺州撤州改贺县，贺县和怀集县改隶广西梧州府，至此怀集县至1952年都属于广西梧州府管治。
从版图看，怀集县80%的边界跟广东接壤，只有岗坪镇西边的灵峰镇的山区跟信都盆地接壤（还隔着大山，无法联系），看起来有点怪怪的。
在古代因为灵峰镇山路不通信都盆地，怀集县要跟贺州、信都、梧州联系，必须走开建县（开建盆地）
清朝光绪三十二年，信都乡（信都盆地）改为信都厅，怀集旧管境内（今广西贺州八步区灵峰镇）松柏营及金鹅、龙塘、蓝山、大竹埇一带山岭改隶信都厅，民国元年1912年怀集县西面的信都厅改厅为县；1951年，信都县并入贺县后设立信都镇。
1952年，广东将北海、钦州、防城港划给了广西，作为补偿，怀集县由广西划给了广东。
1952年3月，封川、开建两县合署办公，称“封川开建县”，但开建话和广信话（封川县）两个方言的族群，因为县府争执问题（封川古城和南丰的县府定位，开建人认为应该把县府定在人口众多南丰盆地，而不是江口镇那个没有发展空间的山城），再次分裂。
1958年封川、开建两县第N次分家。
1958年11月1日，根据高要地委250号文决定，开建县与怀集县合并为怀建县；封川县与德庆县合并为德封县。
很快开建人，又跟怀集人为了县府问题闹崩了。
开建人认为讲上坊话（包括开建人）和讲标话的（包括开建县长安镇部分人口）人口占全县大半，而开建（南丰-长安）盆地和梁村-冷坑盆地，发展空间比周围都是山的怀城镇要好（驻解放初期，怀城镇的发展并没有比其他镇好多少，解放之后升为副处级别，才集中资源发展了起来，挖空了很多山头），应该把县府迁移到南丰盆地或者是两县中间的梁村-冷坑盆地，这样才公平。
这事激怒了怀城的下方人，1959年怀城镇立即把怀建县的牌子给砸了，重新恢复怀集县名字。
开建人爱来怀集县，就来。
开建与怀城之争。
惊动了上级。
同时封川县与德庆县两县也因为县府问题闹崩了，（因为封川古城和德庆古城，发展空间太小都不适合当县城，需要另外选一个中心区域镇当县府），闹得不可调节。
而当时全国各地都在争省府、市府、县府的位置，比如吉林省的省府由吉林市迁到长春、黑龙江省府有齐齐哈尔迁到哈尔滨、河北省府由保定迁到石家庄，河南省府由开封迁到郑州，安微省府由安庆迁到合肥，广西省府由桂林迁到南宁，肇庆市市府由高要迁到端州区等等。
1961年，怀集县划出了开建县，德庆县划出封川县，封川县和开建县合并，改名字封开县。
但开建人和封川人为了县府问题（刚开始协商在两县中心取某镇为县府，但封川人把县府挪在江口镇这个小山镇不走了。
）至今2017年还在闹矛盾。
1952-1983年怀集县讲标人曾多次向省 *** 申请少数民族待遇，都遇到拒绝。
1980年代-90年代，怀集县多次向省 *** 和国务院申请副厅级的威州市，都遭到了拒绝。