1958年9月创建于北京，首任校长由郭沫若兼任。它的创办被称为“我国教育史和科学史上的一项重大事件”。建校后，中国科学院实施“全院办校，所系结合”的办学方针，学校紧紧围绕国家急需的新兴科技领域设置系科专业，创造性地把理科与工科即前沿科学与高新技术相结合，注重基础课教学，高起点，宽口径培养新兴、边缘、交叉学科的尖
端科技人才，汇集了严济慈、华罗庚、钱学森、赵忠尧、郭永怀、赵九章、贝时璋等一批国内最有声望的科学家，得到迅速发展，建校第二年即被列为全国重点大学。
1970年初，学校迁至安徽省合肥市，开始了第二次创业。1978年以后，学校锐意改革，大胆创新，在全国率先提出并实施了创办少年班、首建研究生院、建设国家大科学工程、面向世界开放办学等一系列具有创新精神和前瞻意识的教育改革措施，得到迅速恢复和发展。“七五”、“八五”期间一直得到国家的重点建设，很快发展成为国家高质量人才培养和高水平科学研究的重要基地。
20世纪90年代以来，学校主动适应国内外科技、教育和社会经济发展的要求与挑战，认真贯彻《中国教育改革和发展纲要》，大力推行教学科研改革和结构性调整，进行第三次创业。学校是国家首批实施“985工程”和“211工程”的大学之一，也是唯一参与国家知识创新工程的大学。
长期以来，学校大力弘扬“红专并进，理实交融”的校风，坚持“我创新，故我在”和精品办学、英才教育的理念，形成了不断开拓创新的优良传统，以及教学与科研相结合、理论与实践相结合的鲜明特
