相传乃唐代宰相裴休晚年被贬任荆南节度使时所筑，曾结庐读书于此。后人物建此亭纪念。故名裴公亭。

裴休，字公美，唐河南孟州济源人（今河南济源县）工于诗作，擅长书法。到大中年间，他由兵部侍郎兼领诸道盐铁使，大和年间晋升为是书侍郎，改革漕运积弊，制止藩镇横敛，颇有政绩。

明熹宗四年（1624）曾重修此亭。清康熙年间（1662-1722）在亭后营建云树庵。道光二十七年（1847）知县王维桓轻信阴阳家谗言，毁亭存庙。1923年由地方募捐重建裴公亭，亭高三层，门额有“裴公亭”横匾，内奉裴休、明未江西巡抚郭都贤、清末翰林院侍讲侍读学士胡达源三块神主。1972年修建资江大桥时将亭拆除，1981年至1982年重建裴公亭，中国佛教协会会长赵朴初题写了亭匾。古往今来游人墨客多驻于此，吟诗作赋。《益阳县志》所辑明、清诗作有30多首。田见龙诗云：

一色苍茫小洞天，裴公结构是何年。

云阴密覆斜阳外，树影深遮三道边。

白鹿不来花自在，青山无恙客多缘。

当时风月今由是，却让先生占最先。

裴公亭位于资江南岸，益阳大桥南端引桥西侧白鹿峰上。该亭集楼台琼阁、树木花草、溪流池瀑、今古名家书画词于一体，颇具江南园林特色，历为文人集会场所和市民浏览胜地。亭内建有裴休石雕像、叶紫纪念台、白鹿塑像、玉带桥、金银瀑、假山、金鱼池、云树吟坛、人造石钟、曲径台阶、望江亭、百米艺术长廊等优雅别致的景观。