상서대는 고려의 윤관 장군이 상서로 있을 때 여가를 틈타 시문과 휴양을 즐긴 별장이 있던 곳이며 그 후손들이 학문을 닦던 곳이다. 또한 묘가 없는 파평윤씨 후손들의 비를 모신 곳이기도 하다.

현재 건축물은 남아 있지 않으며, 장방형의 담장을 두르고 사주문을 세워 출입할 수 있도록 했다. 담장 안 중앙 우측으로 "파평윤공坡平尹公상서대尙書臺"라고 쓴 비가 세워져 있으며, 그 뒤편으로 묘가 없는 10위位의 비가 나란히 서 있다. 또 임진왜란 때 타 죽었으나 다시 싹이 났다는 윤관이 직접 심은 느티나무 2그루가 있다.

상서대 옆에는 이곳 지명인 웅담리가 유래한 웅담熊潭이라는 연못이 있다. 전장에 나간 윤관을 기다리던 애첩 웅단熊丹이 이곳에 몸을 던져 죽었다 하여 웅담이라 불리게 되었다고 한다.