自1980年代起，
东方红21型液力传动内燃机车一直是
昆河铁路、
昆石铁路、
蒙宝铁路的主力机车，担当所有客运、货运、调车任务。随着机车逐步老化，至1999年后陆续有20台
东方红21型内燃机车报废。此外，由于东方红21型机车功率较小，成为提高
米轨铁路运能的最大障碍之一。为了寻找替代车型，因此
中华人民共和国铁道部于2001年6月，要求四方机车
车辆厂研制新一代采用
电力传动的东风21型米轨内燃机车。2002年4月，东风21型机车总体
设计方案通过了技术
设计审查；同年8月完成了
施工设计，开始投入试制；同年9月至10月，转向架构架与车体钢结构分别完成了静强度试验。
2002年12月，首两台东风21型机车样车先后完成组装，并于2003年1月由四方厂完成了初步试验，同年3月交付
昆明铁路局开远机务段试用。
东风21型机车为六轴米轨内燃机车，采用
低合金钢整体承载结构棚式车体，设双侧贯通式
内走廊、
双端司机室。机车车体从前到后依次为第一司机室、电气室、辅助传动室、动力室、
冷却室、辅助电气室和第二司机室。电气室内设有高压、交流、
控制电器的独立电器柜；辅助传动室设有电阻制动柜、主整流柜、
牵引电机通风机、直流起动发电机、交流
辅助发电机、
总风缸等设备；动力室在机车中部，安装了一套
柴油发电机组，以及
空气滤清器、
膨胀水箱等辅助装置；冷却室内设有V型结构的散热器、风扇及螺杆式空气压缩机；辅助电气室设有
蓄电池组。
车底两台
转向架之间设有燃油箱。
机车装用一台
卡特彼勒公司的3512B型
柴油机，为12汽缸、
四冲程、电子燃油喷射、
废气涡轮增压的V型
高速柴油机，具有耗油低、尺寸小、重量轻的特点，适合米轨机车使用。汽缸直径170毫米，活塞冲程215毫米，
额定转速为每分钟1500转，装车功率为1455千瓦。
机车走行部为两台完全相同的三轴自导向径向
转向架，其径向调整机构原理与东风8B型7001号机车的径向转向架大致相同，具有车轮磨耗低、
曲线通过性能好的优势。
一系悬挂与轴箱定位采用单拉杆双弹簧配垂向
减震器，二系悬挂为
转向架构架上的旁承橡胶弹簧。
牵引电动机采用滚动轴承抱轴式半悬挂。