西遞村距黃山市屯溪區約52公里，距黟縣縣城8公里。該村東西長700米，南北寬300米，居民三百余戶，人口一千多。
據史料記載，西遞始祖為唐昭宗李曄之子，因遭變亂，逃匿民間，改為胡姓，繁衍生息，形成聚居村落。故自古文風昌盛，到明清年間，一部分讀書人棄儒從賈，他們經商成功，大興土木，建房、修祠、鋪路、架橋，將故里建設得非常舒適、氣派、堂皇。歷經數百年社會的動蕩，風雨的侵襲，雖半數以上的古民居、祠堂、書院、牌坊已毀，但仍保留下數百幢古民居，從整體上保留下明清村落的基本面貌和特征。
該村建房多用黑色大理石，兩條清泉穿村而過，99條高墻深巷，各具特色的古民居，使游客如置身迷宮。村頭有座明萬歷六年（公元1578）建的三間四柱五樓的青石牌坊，崢嶸巍峨，結構精巧，是胡氏家族地位顯赫的象征。村中有座康熙年間建造的“履福堂”，陳設典雅，充滿書香氣息，廳堂題為“書詩經世文章，孝悌傳為報本”、“讀書好營商好效好便好，創業難守成難知難不難”的對聯，顯示了儒學向建筑的滲透。村中另一古宅為“大夫第”，建于清康熙三十年（公元1691年）。“大夫第”為臨街亭閣式建筑，原用于觀景，樓額懸有“桃花源里人家”六個大字。有趣的是，近人多將此樓當作古裝戲中小姐擇婿“熱拋繡球”所在，現已成為西遞村舉辦此項民俗活動的場所。“大夫第”門額下還有“作退一步想”的題字，語意雙關，耐人尋味。此外，村中各家各戶的富麗宅院、精巧的花園、黑色大理石制作的門框、漏窗，石雕的奇花異卉、飛禽走獸，磚雕的樓臺亭閣、人物戲文，及精美的木雕，絢麗的彩繪、璧畫，都體現了中國古代藝術之精華。
西遞村是一處以宗族血緣關系為紐帶，胡姓聚族而居的古村落，該村源于公元11世紀，發展鼎盛于14-19世紀。20世紀初，隨著我國封建宗法制度的解體，西遞村的發展也日趨緩慢。由于歷史上較少受到戰亂的侵襲，也未受到經濟發展的沖擊，村落原始形態保存完好，始終保持著歷史發展的真實性和完整性。現保存的明、清古民居124幢，祠堂3幢，均已列為安徽省重點文物保護單位。