韩天衡美术馆占地面积达14000平方米，展馆面积11000多平方米。历史与现代交融、黑色与白色碰撞，是韩天衡美术馆从外观上给人的第一印象。建筑主体颜色设计源自书法用语“计白当黑”，黑白元素的搭配在体现虚实对比之美的同时，也与书法、篆刻艺术形成呼应。黑色区域为主题展示区，白色部分为辅助展区及办公区。这座极具现代感的建筑由已有70多年历史的“飞联纺织厂”改建而成。建筑保留了老厂房原有结构，砖红色的烟囱、锯齿状的屋顶等都体现着设计者对工业文明的纪念。黑色区域的主题展示区按功能分三个部分：一层为韩天衡先生历年创作的书画印精品，二层是历代书画珍品，三楼文房雅玩以及韩天衡艺术足迹馆。原来的纺织车间则被改建成一个约1500平方米的临时布展区，包括展厅、多功能厅、艺术学校等。