合肥市图书馆起源于合肥县立中和图书馆，1958年正式建制，1968年并入市文化馆，1973年市图书馆回迁至徽州路134号（原美菱大道612号），1974年建馆舍大楼，建筑面积2010平方米， 1977年郭沫若先生欣然为合肥市图书馆题写馆名。

2003年合肥市图书馆新馆正式向社会开放，坐落在景区风景秀丽的琥珀潭畔，馆舍面积1.5万平方米。2011年起，合肥市图书馆在全省公共图书馆中率先实行免费开放，经过不断发展，逐渐从过去的以典籍文献的收藏、流通和利用为主体的服务，发展到以“人”为本，以现代手段为媒介，以“全民阅读活动”为平台，以文献为内容的多元化、立体化的综合文化服务。

截止2020年底，合肥市图书馆藏书图书210万册，本地数字资容量100TB,设有各类对外服务窗口10余个，特色典藏有地方文献、地方名人传记、地方老报纸老照片数据库和大型文化典籍《四库全书》和《续四库全书》等，还收藏了美籍华人贾成宽、石以明，德国侨胞周仲铮，香港石景宜以及作家鲁彦周、那沙和画家韦君琳、摄影家康诗纬等社会名人的赠书数万册，已初步形成具有本馆特色的藏书体系。