胡雪岩故居位于望江路西端南侧、望仙桥东堍。该宅园建成于清同治十一年（1872），略早于大井巷内的胡庆余堂。
胡雪岩故居占地10.8亩，建筑面积5800余平方米，共计耗费白银十余万两。呈长方形的这一巨大住宅群落中，有十三楼和芝园，亭台楼阁、小桥流水、明廊暗弄构思巧妙，砖雕、木雕、石雕等无品不精。选用木料之精更令人赞叹，紫檀、酸枝、楠木、银杏、南阳杉、中国榉等高档木材比比皆是，堪称晚清中国巨商第一宅。其中，十三楼主要用以安置众多妻妾，以风火墙相隔各成单位。芝园为其主体建筑，在当时杭州有“擘飞来峰一支，似狮子林之缩本”之美称。园中假山为国内现存的最大人工溶洞。之所以取名芝园，现存两种说法：一曰因设计者为叠山名家尹芝，又曰胡雪岩为纪念自己的父亲胡芝田。
同样的粉墙黛瓦，它给我的感觉却是迥然于苏州园林。从外观看，清代的风格明显，展现了主人传统的一面。但是有的房间内部采用了西洋的装修手法，这在当时也算是追求时尚的表现了。走在园子里，七绕八绕的，让人迷失方向。有时绕了一圈回来，发现刚才已来这里，同样的景致，从不同的角度看去，也是不一样的感觉。这也许就是移步异景在园林中的巧妙运用吧。
这个院子说是长方形的，却少了一个角。据说当年胡雪岩买地时，那一角被一户穷人占据着，无论胡雪岩出多少钱那人就是不搬，胡雪岩没办法只得建了一个缺角的园子。又有传说，胡雪岩后来家道败落就跟那缺失的一角有关。
关于风水这玩意，有时真的不能不让人相信。哈哈～
