花牌楼的建造与明代初年
开国功臣常遇春有关。
朱元璋平定天下后，在南京城内为有大功之臣赐地建府，
常遇春获准在今常府街一带建郑国公府，还修建富丽堂皇的牌楼以示表彰，常府街、花牌楼就因此而得名，如今常府街依然存在，而花牌楼早已湮没无闻。
1931年前，
中山东路至白下路段旧称吉祥街（原为义祥街，俗称吉祥街）、花牌楼（原为雍睦里）、门帘桥、太平街，1931年拓宽后称为太平路。同年白下路至建康路段拓宽为朱雀路。1969年开辟了太平北路，于是改太平路和朱雀路为太平南路。
据记载，花牌楼地名与明初大将常遇春（1330年 1369年）有关。常遇春随同朱元璋领兵抗元，南征北战立下汗马功劳。朱元璋定都南京后，逐一消灭了各地割据势力，统一全国。为了表彰
徐达、常遇春等开国元勋，朱元璋赐地建府，大兴土木。常遇春的府邸就在今杨公井一带，占地甚广，大致在今常府街、三十四标以南，太平巷以北，太平南路以东一带。府内假山溪流亭台楼阁无一不美，相传其花园中的池塘就有九个之多，号称“九莲塘”。除修建宅邸外，朱元璋还在此特别盖了两座牌楼，上刻各种花卉纹饰，精美无比，当地老百姓都称之为“花牌楼”，久而久之，花牌楼就成了一个通用地名流传后世600年。
到了
清代，花牌楼一带又被称为雍睦里，相传在此值班的更夫忠于职守，保一方平安，从未发生过杀人抢劫之事，南京地方官大为赞赏，决定改此地名为雍睦里。
花牌楼名扬南京，创作《
红楼梦》的
曹雪芹或许就受到了其影响。据南京红学家严中先生推测，曹雪芹在写到元妃省亲时，贾家在省亲别墅建有一座石牌坊，或许就是以花牌楼为原型。因为曹雪芹“借省亲事写南巡”，而康熙南巡时住的“行宫”江宁织造署就是
元妃省亲别墅的原型，江宁织造署距花牌楼非常近，曹雪芹将花牌楼写进《红楼梦》里，是非常有可能的。曹雪芹还借进大观园的刘姥姥之口描述了牌楼的模样：“这牌楼上字我都认得，我们那里这样的庙宇最多，都是这样的牌坊”。
到了民国年间，太平南路成为南京最繁华的
商业中心，而花牌楼一段则成为知名的“书店一条街”，全国各大书店纷纷在此开设分店，如
商务印书馆、中华书局、世界书局、开明书店、中央书店等。其中商务印书馆南京分馆在花牌楼书店街中是规模最大的一家，主要经营学术类书籍，在大学教授和
知识分子中享有盛誉。而中华书局分店就设在今古籍书店的老楼，前后出版了上万册图书，销路大好。其余大小书店近五十家挤在这条短短的街上，在竞争中形成了各自的特点，同样吸引了南京乃至全国的读书人，尤其是一些囊中羞涩的知识分子，经常到此“淘”打折的书籍。