文昌阁位于怀集县城东一公里的绥江河北岸的下郭村，始建于明万历四十七年(一六一九年)，天启元年(一六二一年)建成，占地四百多平方米，里面的文昌塔如笔状直指云天，塔高二十五米，分五层，塔体为六角形，门上方写有“梯云”二字，每层窗口由下而上依次书“得禄”、“桂籍”、“参天”、“文阁”等字，每层檐下描有花纹图案，顶端铁杆上串有一瓷葫芦，六角均装有翘首，工艺精巧。使文昌阁显得雄伟壮观。
塔前建有书院，称文昌书院，书院雕梁画栋，整个建筑与绥江清流相映成趣。是当地激励年轻人读书成材、报效国家的地方，仅在明、清两代就出了一百一十三名贡生和举人。
