在湖州西南13公里妙西自然鎮西南側土積山。宋嘉泰《吳興志》載：“杼山在縣西南三十里。”陸羽舊記云：“山高三百尺，周回一千二百步，昔夏后杼巡獵之所。今山下有夏王村，西北打夏駕山。”據唐顏真卿《妙喜寺碑記略》：“州西南杼山之陽有妙喜寺。梁武帝之所置也。大同七年(541)夏五月，帝御壽光閣，會所司奏請置額，帝以東方有妙喜佛國，因以名之，舊置在今州西全斗山，唐太宗六年春二月移于此山。”晉吳興太守張玄之《吳興山墟名》稱：“舊名東張，山形似幾地形高爽，山阜四周。因其山勝絕使游者忘歸，又名稽留山，寺前二十步跨澗，有黃浦橋，橋南五十步，又有黃浦亭，南朝宋鮑照送盛侍郎賦詩及庾中郎之所。其水自杼山西南五里黃蘗山出，故號黃浦，俗亦名黃蘗澗。梁光祿卿江淹賦詩之所。寺東偏有招隱院，其前堂西夏謂之溫閣。從草堂東南屈曲有懸巖，徑行百步，至吳興太守何楷釣臺。西北五十步至避它城。”唐大歷七年，顏真卿為湖州刺史，次年(癸丑)正月到任。時浙西觀察判官殿中侍御史袁高巡部至州，會于此山，遂立亭于東南。陸羽以癸丑冬十月癸卯朔二十一日癸亥建，因名為三癸亭。于亭西北叢桂之間創桂棚，左右數百步丹、青、紫三桂，花葉異，芳林茂樹下有支徑，因袁君于此游步，稱為御史徑。

唐天寶十四年(755)，安祿山反叛，陸羽離故鄉湖北天門縣到杼山妙喜寺，與僧皎然“結成緇素忘年之交”，時年24歲。陸羽在湖州期間，曾長期住妙喜寺，先后在湖、長和浙西地區，用五六年時間進行調查研究，在30歲時寫成世界第一部茶業專著《茶經》。大歷八年(773)顏真卿在妙喜寺招隱院編纂《韻海鏡源》，陸羽、皎然等東南文士50余人參與其事。杼山一時形成儒、釋、道合流，詩、茶、禪合一的格局。

據明成化《湖州府志》、崇禎《烏程縣志》郡志以“妙喜”名山，宋治平二年(1065)改妙喜寺為寶積寺。