怀集县立图书馆成立于1935年，建筑形状像孙中山的“山”字。明洪武初至解放初期隶属广西管辖，1951年起划由广东代管，次年划归广东省。怀集县立图书馆成立时藏书已经达3万多册，至今县图书馆还藏有开馆时的线装书1万多册，古籍482册。还有开馆时各界人士为图书馆落成的亲笔题字，其中有：马寅初、白崇禧、唐生智等。
怀集县立图书馆外貌(正面)
怀集县立图书馆外貌(背面)
马寅初题字：集东西文为渊薮，览当世事以融通。
尽录其长舍所短，初前为异终于同。
唐生智题字：立国廿纪民智为先，启聋发瞆玉简金萹；
绥江汤汤贺岭绵绵，汇成学海维万斯年