行为遗传学（behavioral genetics）亦称“心理遗传学”、“行为发生学”。行为科学与生物遗传学的交叉学科。运用心理学和遗传学理论研究生物基因型对有机体行为的影响，以及在行为形成过程中遗传和环境之间相互作用的规律。旨在分析和探讨有机体重要的行为或心理物质（如学习、智力、精神病症等）与遗传的关系。达尔文和高尔顿最早从事行为遗传学的研究。达尔文提出，天才和智力迟钝都有明显的家族性。高尔顿研究过当时杰出人物的身世，1869年发表《遗传的天才》一书；提出天才人物的家庭成员大多是天才，而且能力也有家族遗传的倾向。他首次用双胎法和统计分析方法，说明获得性行为性状不能遗传。

深入了解动物行为的形成和发展的遗传机制将会提高人类利用动物资源的能力，推动仿生学的发展。此外，在阐明基因-神经（脑）-行为之间的关系之后的，也将为防治行为异常的遗传疾病提供理论依据。

20世纪初期，遗传学发展早期的一些遗传学者曾注意到行为与遗传的关系。但是在后来的遗传学的迅速发展中，那些容易被识别的形态性状（例如果蝇的体色、眼色、刚毛性状等）成了主要的研究对象。

50年代中期J·赫什和美国遗传学家T·多布然斯基等曾一度从事果蝇趋光性的行为的遗传学研究。他们通过多代的选择得到了为多基因所控制的具有明显正、负趋光性的群体，但是人工选择一旦停止，差别就迅速消失。

60年代后期，行为遗传学逐渐发展成为一门独立的学科。以美国的M·德尔布吕克和S·本泽、英国的S·布伦纳为代表的一些分子遗传学家陆续转向行为遗传学的研究。他们在多种生物中通过诱变处理得到影响许多行为（如趋光性、趋化性、回避运动、求偶行为等）的突变型。然后从神经生理学、生物化学、组织胚胎学、细胞遗传学等学科的角度，运用多种技术对这些突变型进行分析，探寻行为遗传的机理。

20世纪末期，细胞与分子层次的系统生物学与系统遗传学的兴起，基因组、蛋白质组、代谢组学生物技术和计算生物学、计算神经生物学等方法的进展，神经元、神经网络生理生化功能、发育生物与遗传学的研究进入了细胞信号传导、细胞通讯、神经内分泌与基因表达调控的发展时期。

在人的行为遗传研究中，双生儿法占有重要的位置。晕车、晕船、梦游、便秘、夜尿、睡眠中磨牙等行为在一卵双生儿中有很高的一致性，说明它们有遗传基础，不过对这些行为的遗传分析不容易进行。关于智力的遗传方面，一卵双生儿研究、智商测定和系谱调查结果也都说明了遗传因素的重要性。可是由于智力的发展与社会环境、个人的努力有极大的关系，而且智力测定又不象其他性状的测定那样客观，所以是一个更为复杂的问题。

人类中也有一些由于单个基因发生突变或染色体数目发生改变而造成的行为异常。例如严重的苯丙酮尿症（见先天性代谢缺陷）患者智能低下，脑电波异常，步行困难，这是单个基因突变的结果。自毁容貌综合征患者也表现为智力发展迟缓，全身运动发生障碍，是伴性隐性突变所致。克氏综合征、特纳氏综合征（见染色体病）患者的智力也都明显下降。有人认为染色体组型为XYY的男人进入青春期后性格易变得凶暴，犯罪率高。但近年来也有一些学者对此说持有异议。

生命活动是一系列行为的总合。一定的行为既是为了维持个体的生命，也是繁衍种族的需要。动物具有求偶交配及照料后代的行为，说明自然选择不但保留了对个体生存有利的行为模式和基因，而且还保留了保证种族繁衍的行为模式和基因。英国行为遗传学家N．廷伯根研究刺鱼（Gasterosteus sp．）的精细求偶行为和雄鱼为抚育幼鱼而牺牲自己的行为就是著名的例证。

大肠杆菌

大肠杆菌对于多种化合物具有趋向或趋避行为，这一行为过程涉及化合物识别、信号输入和鞭毛运动三个环节。通过对失去趋向或趋避行为的大肠杆菌突变型的研究得知每一环节的生理活动和一系列基因有关，这些基因的位置已经测定。此外，大肠杆菌对于冷热也有趋向或趋避行为。在同时存在使大肠杆菌趋向的化合物和使它趋避的温差的情况下，大肠杆菌能对这些信号进行分析并做出趋向或趋避的反应。

草履虫

草履虫是一种单细胞的真核生物，当它碰到障碍物时能逆转纤毛摆动的方向而后退，然后再游向新的方向，这种行为称为回避行为。已经分离得到的突变型包括不能后退的直进突变型、超后退型、旋转型、缓慢型等，涉及的基因也有若干个。草履虫的鞭毛摆动方向的改变与体内外钙离子浓度的改变和膜电位的改变有关，而这些改变又和高等动物的神经、肌肉动作电位的改变极其相似。

秀丽隐杆线虫

秀丽隐杆线虫是一种细胞数目固定、雌雄同体、一世代只3.5天、脑仅由几百个神经元构成的无脊椎动物。它的这些特点引起了行为遗传学家的注目。已经发现和线虫趋化性有关的基因有十几个，其中许多突变型有神经系统结构的变化。用电子显微镜和电子计算机对突变型的神经回路网络结构的研究，有助于了解基因怎样控制神经元的复杂的联络样式。

果蝇

果蝇是遗传学资料积累得最多的动物。它的行为也比较复杂，已经获得影响趋光性、趋化性、趋地性、摄食、飞翔、求偶和交配、记忆等多种行为的突变型。在果蝇的行为遗传学研究中，雌雄嵌合体方法发挥了重要作用。这种方法不仅可以用来确定控制性行为的基因的初级作用部位，而且还可以确定X染色体上其他行为基因的初级作用部位。例如日本的行为遗传学家掘田凯树等于1972年用这种方法发现了控制雄性求偶行为的初级作用部位并不存在于生殖器官或胸部神经节内。而至少有一对呈对称关系的作用部位存在于脑中，从而否定了所谓单一作用部位模型。

蜜蜂

蜜蜂是一种社会性昆虫，具有更为复杂的行为。有一种抗美洲臭巢病的品系，它的工蜂具有开启巢室并将死在巢室中的幼虫和蛹丢到远处的特殊行为，从而能够避免臭巢病的发生。这一行为受两个隐性基因支配。

小鼠

在哺乳动物中，小鼠是行为遗传学研究的良好材料，已经积累了许多行为突变型。例如有一种华尔兹舞蹈突变型便是由单基因隐性突变造成的。狗由于长期家养的结果育成了许多遗传型显然不同的品系，可以作为学习能力、情绪等行为的遗传学研究材料。

行为遗传学与神经科学关系密切，高等动物的许多行为突变型是神经系统发育不正常的结果。对这些突变型进行研究有助于了解神经系统的发育。运用果蝇雌雄嵌合体的方法可以绘出囊胚层的发育命运图，从而使遗传学和发育生物学联系起来。行为遗传学和生物物理学、行为学、医学、医学遗传学、心理生物学、神经生物学、神经遗传学等方面也都有着密切的关系。