明洪武元年（1368），桂阳路更为桂阳府，领平阳、临武二县和常宁、耒阳二州（蓝山县划入郴州府），隶湖广行省。次年，蓝山县复归桂阳府，常宁、耒阳复为县，度属衡州府，桂阳府领平阳、监武、蓝山三县。
明洪武九年（1376），桂阳府降为桂阳县，省平阳县（平阳县建制自此废），隶湖广布政使司上湖南道衡州府；洪武十三年（1380），升桂阳县为桂阳州，领临武、蓝山二县。
明崇祯十二年（1639），析桂阳本州西南禾仓堡和临武县西北部分置嘉禾县，属桂阳州。
清康熙十七年（1678），吴三桂称帝衡州，避其讳改桂阳为南平州，次年（1679）复名桂阳州。
清雍正十年（1732），桂阳州升为直隶州，领临武、蓝山、嘉禾三县，隶衡永郴桂道。
中华民国二年（1913），桂阳直隶州改为桂阳县，隶衡永郴桂道，民国三年(1914)，桂阳县隶衡阳道，民国十一年（1922），撤销道制，桂阳县隶湖南省。
民国二十六年（1937）12月，设置湖南省第八行政督察区（专员驻郴县），二十九年（1940），改第八区为第三区（治郴县），桂阳县隶之。
1949年10月13日，桂阳县解放，隶湖南省郴县行政专员公署。1952年，桂阳县改隶湘南行政公署。1954年7月，湘南行署易为郴县专区，桂阳县隶之。
1959年3月，新田县并入桂阳县。
1960年7月，郴县专区更名郴州专区，桂阳县隶之。1961年5月，恢复新田县，桂阳县仍属郴州专区。
1968年2月，桂阳县属郴州地区革命委员会，1979年3月，属湖南郴州地区行政公署。
1995年郴州地区行政公署易名为郴州市人民政府，桂阳县隶属郴州市。