"代数"来自拉丁文algebra，是从阿拉伯文演变来的。算术（arithmetic）是代数产生的基础，代数是算术发展到一定阶段的历史产物。
算术和代数的边界是清晰的，在我国，小学数学课总体上属于算术的范围，从初中开始，代数正式进入数学课堂。算术解题的思路是列算式然后计算，代数的特点是允许未知数参与运算，把已知数和未知数放在同等地位，即列方程并解之。
希腊的丢番图被誉为代数学的鼻祖，他写的十三卷本的《算术》在历史上可以媲美欧几里得的《几何原本》，在这本书中，丢番图研究了解方程的理论，特别是整系数不定方程的解法，因此这类方程通常称为“丢番图方程”。
阿拉伯数学家花拉子模于公元820年写成了《代数学》，该书深入揭示出解一次方程和二次方程的一般规律，该书后来被翻译为拉丁文，并作为标准教材在欧洲沿用了几个世纪。因此，有人称花拉子模为“代数学之父”。
代数学的发展，大致经历了三个不同的阶段：第一阶段：文词代数，即全部算法用文字语言来表达；第二阶段：简字代数，即用简化了的文词来表述算法的内容和步骤；第三阶段：符号代数，即普遍使用抽象的符号。在符号的改进上，法国的韦达和笛卡尔的功绩最突出，笛卡尔是第一个提倡用x,y,z代表未知数的人，他提出和使用的许多符号，同现代的写法基本一致。
随着人类对数学世界探索的不断深入，代数学也不断的发展进化，从初等代数发展到高等代数，高等代数又出现了很多分支，如线性代数、多项式代数、群论、环论、格论、布尔代数、李代数、同调代数等。
高等代数与初等代数在思想方法上有很大的差别，初等代数属于计算型，并且只限于研究实数和复数等特定的数系，而高等代数是概念化和公理化的，其研究对象通常是抽象代数系统。
在我国，1859年，清代数学家李善兰在与他人合译的《Elements of Algebra》中正式将“algebra”翻译为“代数学”。
