瑞利-泰勒不稳定性发生在非稳定的密度分层的状况下，譬如较重的液体位于较轻的液体上，重力的作用加速了一层液体侵入另一层液体的进程，产生了湍流及随之发生的界面上的湍流混合过程。
瑞利-泰勒不稳定性（Rayleigh-Taylor instability，得名于瑞利男爵和杰弗里·泰勒），简称RT不稳定性，在任何时间都会发生在
密集的重流体被轻的流体加速时。这是发生在云与激波系统的事件，或者当密度较高的流体浮在密度较低的液体，像是漂浮在水上而密度较高的油。
无
黏度的理想流体在平衡时，所有的平面都是完全平行的，但是由位能引起的轻微扰动，像是较重的物质因为（有效的）重力作用而下沉，并且轻的物质被替换而上升。当不稳定发展时，向下运动造成的不规则（涟漪）很快的就会被放大成为一系列的“RT手指”；而向上升起的移动，轻的物质会形成球状帽盖气泡。
要注意不要将喷射液体的“瑞利不稳定性”（或普拉托-瑞利不稳定性）与瑞利-泰勒不稳定性混淆。前者的不稳定性，有时称为只是水龙软管（或是firehose），是由表面张力造成的，他作用于喷射的水柱上，当水柱断裂成为一连串的水珠时，会使水珠成为同样体积中表面积最小的。
当低密度流体加速高密度流体，或者在重力场中低密度流体支撑高密度流体时，流体界面会出现瑞利-泰勒（RT）不稳定性，界面上的扰动发展会以指数形式增长。在
惯性约束聚变（ICF）内爆加速阶段，烧蚀产生的高温低密度等离子体会加速靶丸外壳层低温高密度燃料，此时会在烧蚀层形成一个流体力学不稳定区。加速阶段RT不稳定性会使靶丸表面的瑕疵高速增长，从而最终导致烧蚀壳层的破裂，引起烧蚀层与低温氘氚燃料的混合，会使内爆压缩失去对称性，降低氘氚聚变燃料的压缩密度，严重影响聚变点火实验。
因此，研究内爆过程中的流体力学不稳定性，对实现
惯性约束聚变点火具有重要意义。收缩几何和平面几何中流体力学不稳定性的演化是有区别的，在扰动发展的线性阶段，靶丸的半径随着内爆压缩而减小，导致扰动波长减小，扰动增长率增大，而在平面几何中扰动的波长是不变的。在扰动发展的非线性阶段，收缩几何中“蘑菇”帽结构的宽度会比平面几何的大，此外，两种几何中“尖顶”的下降速度也是不同的，这会导致收缩几何中
开尔文-亥姆霍兹不稳定性的增强，使得扰动的发展更加剧烈和复杂。
惯性约束聚变中开展的流体力学不稳定性实验主要使用平面靶，而实际点火实验所使用的靶丸是收缩几何机构，同时收缩几何效应又使得RT不稳定性的发展相较于平面几何更加复杂。
会聚结构中的
流体动力学不稳定性因在激光惯性约束聚变(ICF)、超新星爆发等过程中起重要作用而受到广泛重视，它也是ICF、内爆动力学等需解决的关键技术问题之一。在会聚结构中的不稳定性问题有三个因素必须考虑：首先，较轻的流体加速较重的流体，即可形成瑞利-泰勒(RT)不稳定性；其次，“薄壁”效应，它通过外部RT 不稳定性表面扰动的馈通，使扰动在聚爆球壳的内表面出现。这些内表面扰动是极不希望出现的，因为它们影响球壳的压缩性能；最后，会聚作用随着球壳聚爆，扰动幅度和球壳厚度都在变化，从而使外部扰动对内表面扰动的耦合和影响发生变化。