根据清代钮琇在《
觚剩》的记载：浙江嘉兴人项元汴，字子京，号墨林，生活在明朝中后期。项元汴在
南京游玩时，爱上了一个妓女，相处很长时间后，项元汴要回家了，姑娘拉着他的手，眼泪滴滴答答，一副难分难舍的样子。项元汴回嘉兴后，到处去收购沉香木，做成一个精致玲珑的卧床，又用上好的丝绸做了几箱衣服，然后把这些东西装上大船，去南京找他的相好。
进妓院后，相好的姑娘正陪着别的客人，看到项元汴，好像不认识一样不加理睬。项元汴只好上前自报姓名，并说明是来送东西的，那姑娘这才有了一点笑容，对项元汴也客气了一点。项元汴吩咐把妓院大厅打扫干净，把沉香木床抬进大厅。妓院里的人都来祝贺，漂亮姑娘群集一堂。项元汴在妓院里大摆酒席，招待那群女孩子。酒喝到一半，项元汴突然站起来，指着与自己相好过的姑娘大声说：“我原来以为世上懂爱情的女孩都在妓院里，所以不惜花费千金来让你高兴。不料才几个月时间，你就把我忘记了。人们说你们这种女孩子的感情就像杨花柳絮一样轻飘飘，我过去不相信，
今天相信了。”说完就叫来仆人，把箱子中的衣服都撕裂了。又用榔头敲碎了沉香木床，放在院子里焚烧。烟雾升上天空，满城香气缭绕，过了四五天香气还没散去，从此这条街被人叫做“沉香街”。