幼年因家贫辍学，后得堂兄潘绍龙鼎力相助，从师
廪生张鼎文，学识文章大有长进，于清
道光五年考中
秀才、八年考中
举人、九年连捷
进士，选
翰林院庶吉士，
武英殿协修，留在京城编史修志，因其书法文章俱佳，勅封
文林郎散馆。同僚妒其年少才俊，谗言诋毁，被谪直隶
元氏县知县，因父卒回家守丧，服除后任福建
瓯宁县知县，不到一年，又因母卒归，服除后不复出。1881年（清
光绪七年）去世。
潘绍烈少负重名，潜心理学，以文章著称，号称当时莱芜“文章宗匠”。其制艺拙中见奇，言皆有物，继承前人又自成一家；古文则峭洁廉悍，其《重游余家泉记》一文有
苏东坡《
赤壁赋》之胸襟气势，诗亦清新；其书法刚柔相济，名重当时，有潘（潘绍烈）牛、李（章丘
李廷棨）马、刘（益都刘清源）龙之称。受到
何绍基推崇。晚年应邀主讲“
汶源书院”十余年，以“讲明修己治人之道，养其忠君爱国之心，于文章尔雅之地，以备折卫御侮之用”为宗旨，较著名的学生有进士
吕宪瑞。一生著述甚丰，惜多散失，其后人将其遗文汇集成册，名《潘太史遗稿》，其弟子吕宪瑞撰写序言。今泰山
王母池、吕公洞均有潘绍烈所撰碑文。
潘绍烈于
嘉庆元年出生在一个贫苦的农民家庭，幼年时即天资聪颖，喜爱读书。因为家庭贫困不能自给，入塾不久即被迫辍学在家，放牛打柴，得闲仍手不释卷，书声琅琅。堂兄潘绍龙时为济南藩署椽吏（掌管粮米、伙食供给的小官），为人乐善笃义，听说后十分惋惜，主动把绍烈叫来义塾，和他的子侄同师就读，连上学用的笔墨纸砚等都一概承担下来，并在生活中不断给绍烈家庭予以周济。出资供绍烈赴县城参加考试，后又将绍烈接到省城读书，遇到才华出众的人和知识渊博的学者，便领着绍烈前去拜访，请求指教文章的优劣。耳濡目染之下，潘绍烈的学问得以砒砺，见识增长了许多。有时绍烈贪玩偷懒、堂兄就非常严厉地批评训斥，从不宽容留以情面。在堂兄的严厉管束督促之下，绍烈读书十分刻苦用功，历经十几载寒暑，学识逐渐渊博，文章日臻圆熟，终于在乙酉年（
道光五年，1825年）考中秀才，三年后（道光八年，1828年）考取举人，次年（即道光九年，1829年）考中进士，时绍烈年33岁。因为是考取举人后随即考中进士，故榜称“联捷”。考中进士后，皇帝又亲自主持，举行了二轮
殿试，因绍烈诗文书法俱佳，被授予翰林院庶吉士，武英殿协修，并敕封为文林郎散馆，留在京城编史修志，校点天下文章，潘绍烈被封为
翰林院学士。人们都知道，凡派往翰林院的，均是高材生。他因年少才俊，深为同僚所妒，多有谗言低毁，被贬谪出京城，到元氏县做了一任知县。在元氏县令任上，他革除陈弊，广兴商贸渔盐之利，多有惠政，百姓称颂。因不善逢迎往来之法，甚不为上司所重，藉以口实，不久易地瓯宁，又做了一任知县。在瓯宁县，他初衷不改，“为官心存君国”，虽处江湖之远，仍弹精竭虑，兴利除弊。在其治下，瓯宁一片清明，政通人和，百废俱兴，深为百姓和当地士绅所拥戴。
有一天，潘绍烈端坐大堂，有两个乡民扯着一幅棉条争讼。都说棉条是自己的。公说公有理，婆说婆有据，你争我夺，互不相让。潘绍烈简单地问了几句，调和说：“一幅棉条，几尺布，何必因此伤了和气呢。依我之见，把这幅棉条撕成两份，你二人抓阉平分如何？”其中一人认可，另一人力争说：“我好好一幅棉条给俺撕开不说，还要两人分，我不服。”潘绍烈哈哈大笑：“此案已明，认可者输，力争者赢。”有这么兄弟俩合用一口水井。哥哥使坏不叫弟弟从院里提水，四邻劝解不下，官司打到公堂上。哥哥说：“井虽是祖上留下的，地基却是我分着的，井在我分着的地里，应归我所有。”弟弟说：“大老爷，井是祖上留下来的，我兄弟两人共用，我提水得从哥哥院里走。我不是要井，只要求兄嫂允许我经他院去提水。”潘绍烈听罢点点头，和其兄长商量，兄长说啥也不松嘴。潘绍烈一虎脸，拍拍惊堂木说：“井属二人所有，院子是兄长的，兄长有权做主，不让你走，你也无法。为了彻底解决这一纠纷，可平分其井，每人一半。”弟弟说：“大老爷，我分的一半在哥哥院子里，还不是和没有一样吗？”潘绍烈告诉其弟说：“你分的一半，没法去提水不要紧，可是你有主权，可以当污水池用嘛！”弟弟说：“大老爷，这个分法不行，倒上脏东西两家都不能用了，好好的一眼吃水井，就瞎了。”潘绍烈说：“你欲和哥哥合用，你哥不肯，说明你哥哥无情。你如往井里投以污物，你哥哥也就不能用了，他如愿意用，自然会和你商量着办。”弟弟觉得有理，磕谢说：“俺愿意听大老爷判断。”哥哥恍然大悟，他怕弟弟往井中投污物，同意弟弟继续从院子里提水走路，从此不再争执。
到了
鸦片战争前后，朝政黑暗，外敌鼠觑，吏治十分腐败，买官卖官，劫掠豪夺之风盛行，官场丑闻不断。潘绍烈看不惯官场中人的所为，又不愿与恶者同流合污，渐渐有了辞官家居、归隐田园的打算。
在瓯宁县令行将任满时，他的母亲不幸去世。按照清朝的旧制，官吏必须暂辞官位，回家守节尽孝三年。之后，“悬车归家”，执意不再复出。潘绍烈时年不惑，恰与靖节先生归隐田园时同龄。不久，应侯冬柏先生盛邀，到汶源书院担任主讲，以此执教于杏坛，倾尽半生心血给后学者讲明“修己治人之道，养其忠君爱国之心，于文章尔雅之地，以备折卫御侮之用”。并呕心沥血地著书立说，有《潘太公遗稿》留世。