赵伦之，字幼成，
下邳郡僮县人。赵伦之是
刘裕生母孝穆皇后
赵安宗的弟弟。赵伦之幼年时父亲早死，家庭贫困，赵伦之对母亲非常孝顺，并以此显名。
义熙十一年（415年），赵伦之随同刘裕征讨荆州刺史
司马休之及雍州刺史
鲁宗之。赵伦之在随刘裕攻克江陵后，又受命与
沈林子分领军队两路出击，进攻石城，在石城击败
鲁宗之子
鲁轨，鲁轨、鲁宗之、司马休之等人逃奔后秦。战后赵伦之因功升任使持节、督雍梁南北秦四州荆州之河北诸军事、雍州刺史、征虏将军，镇守襄阳。
义熙十二年（416年）正月，后秦皇帝
姚泓又再派鲁轨率军侵犯襄阳，赵伦之率军抵御，击溃鲁轨军。同年八月，刘裕北伐后秦，赵伦之统军坐镇襄阳，指挥荆雍方向的北伐事宜。赵伦之派遣顺阳太守
傅弘之、扶风太守
沈田子领军经武关入关中，攻占峣柳，并在蓝田大破姚泓的后秦军。
永初元年（420年），刘裕代晋称帝，赵伦之以佐命功，晋封为霄城县侯，食邑千户。不久，刘裕又给赵伦之进号安北将军。当时赵伦之仍然在任雍州刺史，镇守重镇襄阳。赵伦之进号安北将军后，以襄阳各地的杂姓太多为由，命长史范觊之整理雍州氏族，按等级辨别出门第高低。
永初三年（422年）五月，护军将军
檀道济以镇北将军、南兖州刺史的身份出镇南兖州，护军将军一职空缺。
宋少帝刘义符即位后，朝廷便征拜赵伦之入京接替檀道济，担任护军将军。景平元年（423年），赵伦之因故卸任护军将军，朝廷调
刘怀慎担任护军将军，接替赵伦之，但刘怀慎不久便离世。次年，徐羡之、傅亮、谢晦等人进行废立前夕，护军将军之职亦被傅亮加领。
元嘉三年（426年）正月，赵伦之被宋文帝刘义隆调任为镇军将军。同年五月，因中领军
到彦之在平定谢晦后出任南豫州刺史，领军一职空缺，文帝遂选定赵伦之担任领军重职，接替到彦之。同年六月，文帝正式任命赵伦之为左光禄大夫、领军将军。
赵伦之虽然因为是外戚而在入宋后的地位极其显贵，但他却始终很俭朴简素。他的性格粗野朴实，不擅长处理人情世故之事。他曾长期担任雍州刺史，觉得自己过得富有充实，然而当他在少帝即位后入京担任护军将军，发现自己的资历和能力都与之不相称，以为自己是被贬了。光禄大夫
范泰就对他开玩笑说：“司徒公缺职时肯定会任用你，我不是说这是因你的资历所致，而是因外戚身份而轮到你。”赵伦之听后非常高兴，多次带着酒肴去拜访范泰。