在道光二十三年（1843年）上奏《申明弄赏疏》，极力反对起用在鸦片战争中丧权辱国而被革职的大臣琦善、奕山、牛鉴、文蔚等人，谏草流传、读者咋舌，真声震天下，与
朱琦、
苏廷魁并称为“天下三大鲠直御史”。他又是一位精研汉学和金石学学问渊博的学者，著有《籀经堂文集》《三家诗考》《说文释》《古籀考》等。卒赠光禄寺卿，钦赐祭葬，进祀贤祠。
二十三年，海疆偾事，获罪诸臣浸复起用。庆镛上疏论刑赏失措，曰：“行政之要，莫大於刑赏。刑赏之权，操之於君，喻之於民，所以示天下之大公也。大学论平天下之道，在於絜矩。矩者何，民之好恶是已。海疆多事以来，自总督、将军以至州县丞倅，禽骇兽奔。皇上赫然震怒，失律之罪，法有莫逭。於是辱国之将军
奕山、
奕经，参赞
文蔚，总督
牛鉴，提督
余步云，先后就逮，步云伏法。血气之伦，罔不拊手称快，谓国法前虽未伸於
琦善，今犹伸於余步云。乃未几起琦善为叶尔羌帮办大臣。邸报既传，人情震骇，犹解之曰：‘古圣王之待罪人，有投四裔以御魑魅者。’皇上之於琦善，殆其类是，而今且以三品顶戴用为热河都统矣，且用奕经为叶尔羌帮办大臣，文蔚为古城领队大臣矣。琦善於战事方始，首先示弱，以惰军心，海内糜烂，至於此极。既罢斥终身不齿，犹恐不足餍民心而作士气。奕经之罪，虽较琦善稍减，文蔚之罪，较奕经又减。然皇上命将出师，若何慎重。奕经顿兵半载，曾未身历行间，骋其虚憍之气，自诡一鼓而复三城；卒之机事不密，贻笑敌人，覆军杀将，一败不支。此不待别科骚扰供亿、招权纳贿之罪，而已不可胜诛。臣亦知奕经为高宗纯皇帝之裔，皇上亲亲睦族，不忍遽加显戮。然即幸邀宽典，亦当禁锢终身，无为天潢宗室羞，岂图收禁未及三月，辄复弃瑕录用？且此数人者，皇上特未知其见恶於民之深耳。倘俯采舆论，孰不切齿琦善为罪魁，谁不疾首於奕山、奕经、牛鉴、文蔚，而以为投畀之不容缓？此非臣一人之私言也。侧闻琦善意侈体汰，跋扈如常，叶尔羌之行，本属怏怏；今果未及出关，即蒙召还。热河密迩神京，有识无识，莫不抚膺太息，以为皇上向用琦善之意，尚不止此。万一有事，则荧惑圣聪者，必仍系斯人。履霜坚冰，深可懔惧。顷者御试翰詹，以‘烹阿封即墨’命题，而今兹刑赏顾如此，臣未知皇上所谓阿者何人？即墨者何人？假如圣意高深，偶或差忒，而以即墨为阿，阿为即墨，将毋誉之毁之者有以淆乱是非耶？所望皇上立奋天威，
收回成命，体大学絜矩之旨，鉴盈廷毁誉之真，国法稍伸，民心可慰。”疏上，宣宗嘉之，谕曰：“朕无知人之明，以致琦善、奕经、文蔚诸人丧师失律，惟有反躬自责，不欲诿罪臣工。今该御史请收回成命，朕非文过饰非之君，岂肯回护？”复革琦善等职，令闭门思过。於是直声震海内。
二十五年，迁给事中，巡视东城，以事诖吏议，左迁光禄寺署正。二十六年，乞归。文宗即位，以大学士
朱凤标荐，复授御史，蹶而再起，气不少挠，叠上疏多关大计。自粤匪起，福建群盗蠢动，蔓延泉、漳、兴、永诸郡。咸丰三年，庆镛疏陈利害，命回籍治团练。惠安妖妇邱氏煽乱，侦获置诸法，赐花翎。俄以病请开缺。七年，逆匪林俊纠莆阳、仙游、永春、南安群贼犯泉州，庆镛激厉士民固守，贼攻围数日而退。论功，以道员候选。八年，卒於泉州，赠光禄寺卿，赐祭葬，荫一子知县，祀乡贤祠。
庆镛精研汉学，而制行则服膺宋儒，文辞朴茂，他是一位精研汉学和
金石学学问渊博的学者，著有《籀经堂文集》《三家诗考》《说文释》《古籀考》等。卒赠光禄寺卿，钦赐祭葬，进祀贤祠。