皇佑中（1051年左右），吕大忠举进士第，为
华阴尉。后任山西晋城县令。升秘书丞，兼任定国军的军事判官。
熙宁中（1072年左右），
王安石议遣使诸道，立缘边封沟；吕大忠陈五不可，遂罢不遣。
绍圣中（1096年左右），吕大忠被升为
宝文阁直学士，知渭州（今甘肃省平凉）等职。晚年，由于其弟吕大防被新党排挤，吕大忠也遭到牵连，且与
章惇等议不合，徙知同州（今陕西大荔县），旋降为待制，后致仕，不久卒。死后以学士官职将其葬于蓝田。
苏轼：敕具官吕大忠。发运使按治六路，所部几万里，持节出使，未有若此其重者也。以尔更练世故，果于从政。屡试剧部，厥声蔼然。是以命尔均南北之有无，权货币之轻重。使农末俱利，公私宜之，以称朕意。可。 （制敕《吕大忠可发运副使》）
理学家
谢良佐：晋伯（吕大忠）弟兄皆有见处。盖兄弟之既多且贵而皆贤者，吕氏也。
熙宁元年（1068年），宋神宗即位，为了富国强兵，召王安石进京，委以宰相重任，让其主持变法。王安石为了变法顺利，便派出多人出使邻国议和。吕大忠和范育接到使命，权衡再三，认为不妥，吕大忠便写了奏章，着重指出此时和邻国议和，的确不好把握，处理不当反会损坏国家利益。因此他认为，此时不可主动前去议和。后来和刘忱一起派住辽国商议代州（今
山西代县）以北的领土划分之事。这时吕大忠之父吕赍病逝，吕大忠随即赶回蓝田奔丧。丧期未满即被召任知代州。辽使来到代州不坐为他们安排的次席却占主席位置，吕大忠见此情景愤然大怒，将次席搬移到长城以北。辽使无奈，只得听从吕大忠的安排。在领土划分问题上，辽使提出，只要把代州割让给辽国，辽国就不再侵犯宋朝，从此两国和平共处。神宗准备同意此条件，吕大忠站出来说：“彼谴一使来，即与地五百里，若使魏王英弼来求关南，则何如？”
宋神宗不大高兴，问道：“卿是何言也？”刘忱说：“吕大忠的意见关乎国家大事，此事陛下一定要三思而行。”当时的文武大臣一时也都拿不出好方案，就将此事暂搁下来，随即把刘忱召回三司，吕大忠也赶回故乡为父守孝。最后宋辽两国以分水岭为界。
在吕大忠知
秦州时，州判是科举状元
马涓。一开始马涓常以“状元”自称，吕大忠见状后对马涓说：“状元者，及第未除官之称也，既为判官则不可，今科举之学既无用，修身为自己之学，不可不勉。”劝解马涓不要留恋于科举牌子，应从实际出发，采用经世致用的办法修身养性，不断提高治国之道。他常常教导马涓勤政爱民的方法和道理。马涓十分感激，虚心拜吕大忠为师。吕大忠还带马涓去拜会当时在秦州任学官的著名学者谢上蔡，每次听谢上蔡讲述《
论语》这些著作时，吕大忠都要正襟敛容，马涓开始不解，吕大忠对他说：“圣人之言在焉，吾不敢不肃。”后来马涓被朝廷重用，他很感激地说：“吕公教我之恩也。”
吕大忠受其弟的影响，投在
张载门下求学，弘杨张载的“经世致用”“躬行礼教为本”等宗旨。张载殁后，吕大忠仍不满自己的学问，遂又东投洛阳二程门下完成学业。
据《
宋元学案》记载，有一次吕大忠端坐厅堂，吕大防的妻子由两位婢女搀扶前来拜见。吕大忠见了，大为恼怒，正色道：“你是丞相夫人吗？我只知道你是二弟的新婚妻子而已。不生病，何需用人扶！”吕大防和妻子听后羞愧难当。