吴道台宅第之所以盛名远播除了晚清海内四大藏书楼之一的测海楼（与宁波范氏天一阁、虞山瞿氏铁琴铜剑楼、聊城杨氏海源阁齐名；而测海楼的藏书总卷数是天一阁的三倍之多）之外，还有从这座名宅中走出去的吴氏后孙“征”字辈的特殊荣耀。老大吴征铸（白陶）是我国著名的剧作家、教育家、文学家；老二吴征鉴是我国著名医学寄生虫学家、医学昆虫学家、原医学科学院副院长；老五吴征铠是著名物理化学家、中科院院士；老六吴征镒是世界知名的植物学家、中科院院士。 1978年的全国科技大会上，兄弟四人同时与会，“吴氏四杰”成为扬州人引以为豪的美谈。
