吕乂自幼失去父亲，喜好读书弹琴。当初，
刘备平定
益州，设置
盐府校尉一职，管理盐铁的财政收益。校尉南阳人
王连请吕乂与南阳人
杜祺、南乡人
刘干等共为
典曹都尉。吕乂后被升任为新都、绵竹县县令。心地善良，体恤百姓，百姓无不称颂，在本州各县城中首屈一指。又升任巴西
太守。
丞相
诸葛亮连年出兵，征调各郡兵员、钱粮，不少地方都不能及时如数送交，吕乂召募士兵五千人交给诸葛亮，他对这些人进行慰问讲明道理并加以监督制约，这些人竟没有一人逃走。吕乂被转任为汉中太守，兼任督农，负责供应军需粮草。
诸葛亮去世后，吕乂累次升任为广汉、
蜀郡太守。蜀郡为京都所在地，户口众多，又逢诸葛亮死后，士兵开小差的很多，又有人冒领这些人空额的军饷，各地奸巧纷纷出现。吕乂到任后，进行防范禁止，他对士兵们开导劝谕，几年之间，那些脱漏军籍而自愿出来的人有一万多。
后来吕乂入朝，担任尚书，接替
董允担任尚书令，公事都及时处理不留拖延，门内没有停留的宾客。吕乂先后任职朝廷内外，自己生活俭朴，谦虚少言，为政简明而不繁琐，以清明能干著称于朝；然而用法过严过深，喜爱起用文官俗吏，所以虽说官居高位，但在各郡县中的名声不大好。
陈寿：①“吕乂临郡则垂称，处朝则被损，亦黄、薛之流亚矣。”②“吕乂少孤，好读书鼓琴。”