合肥市图书馆起源于合肥县立中和图书馆，1958 年正式建制，1968 年并入市文化馆，1973 年市图书馆回迁至徽州路 134 号 （原美菱大道 612 号），1974 年建馆舍大楼，建筑面积 2010 平方米， 1977 年郭沫若先生欣然为合肥市图书馆题写馆名。

2003 年合肥市图书馆新馆正式向社会开放，坐落在景区风景秀丽的琥珀潭畔，馆舍面积 1.5 万平方米。2011 年起，合肥市图书馆在全省公共图书馆中率先实行免费开放，经过不断发展，逐渐从过去的以典籍文献的收藏、流通和利用为主体的服务，发展到以 「人」 为本，以现代手段为媒介，以 「全民阅读活动」 为平台，以文献为内容的多元化、立体化的综合文化服务。

截止 2020 年底，合肥市图书馆藏书图书 210 万册，本地数字资容量 100TB, 设有各类对外服务窗口 10 余个，特色典藏有地方文献、地方名人传记、地方老报纸老照片数据库和大型文化典籍 《四库全书》 和 《续四库全书》 等，还收藏了美籍华人贾成宽、石以明，德国侨胞周仲铮，香港石景宜以及作家鲁彦周、那沙和画家韦君琳、摄影家康诗纬等社会名人的赠书数万册，已初步形成具有本馆特色的藏书体系。