水的硬度最初是指钙、镁离子沉淀肥皂的能力。水的总硬度指水中钙、镁离子的总浓度。实质上，水的总硬度是由水中的二价和三价金属离子造成的，比如钙离子、镁离子、铁和亚铁离子、铜离子、锰离子和铝离子等都可以和肥皂起反应，使肥皂失去去污能力，所以理论上讲，水的总硬度是表示水中二价和三价金属离子含量的指标。对于大多数天然水来说，绝大部分的硬度是由水中的钙离子和镁离子形成的。其它二价和三价离子含量相对于钙离子和镁离子的含量来说，都可以忽略不计。所以，水的总硬度可以近似地认为是由钙离子与镁离子的总量来决定的。
加热煮沸天然水后，还残留于水中的钙离子与镁离子量称为永久硬度。因为这部分钙、镁离子不能用加热煮沸的方法将其沉淀出来，所以称为永久性硬度，也叫非碳酸盐硬度。这些物质是钙、镁的氯化物（CaCL2、MgCL2）、硫酸盐（CaSO4、MgSO4）、硝酸盐{Ca(NO3)2、Mg(NO3)2}等盐类。