最要命的是，岳飞竟然不知避讳，对皇位继承问题妄发议论。绍兴七年(1137 年)秋，岳飞出于忠心，建议高宗立储。这年高宗三十岁，他唯一的儿子赵旉已在八年前惊悸而死，他自己也在扬州溃退时吓萎了，再也无法生育。岳飞的立储建议既触痛宋高宗的难言之隐，又触犯了武将不得干预朝政的“祖宗家法”。赵构当即警告他：“卿言虽忠，然握重兵于外，此事非卿所当预也。”
绍兴十一年四月，高宗、秦桧先用明升官爵、暗夺兵权的方法，将张俊、韩世忠和岳飞召到临安，任命张俊、韩世忠为枢密使，岳飞为枢密副使，把他们原先统率的淮东、淮西和京湖三宣抚司军队都划归三省、枢密院统一指挥调动。
三大将中，张俊已与高宗、秦桧同流合污;韩世忠本来也是被构陷的目标，但他看清了朝中的凶险，及时向宋高宗表明心迹，并从此醉心佛、老，“杜门谢客，绝口不言兵。时跨驴携酒，从一二奚奴，纵游西湖以自乐，平时将佐罕得见其面”。高宗念他过去勤王救驾有功，终于保全了他。
这样，目标就瞄准了岳飞，给岳飞罗织的罪名是违抗军令、指斥乘舆、密谋造反。绍兴十一年十二月二十九日，赵构亲自下旨，将岳飞赐死于临安大理寺(杭州小车桥北)狱中，其子岳云和部将张宪被斩于临安闹市(杭州众安桥)。
谁是害死岳飞的真凶?这本来不成为一个问题，但由于古人为尊者讳的传统和今人构思过度的缘故，此事一直难成定论。其实，杀岳飞者，秦桧和宋高宗是也。
朱熹说：“秦桧之罪所以上通于天，万死而不足以赎买，正以其始则唱邪谋以误国，中则挟虏势以要君，……而末流之弊，遗君后亲，至于如此之极也。”秦桧因力主和议获得宋高宗的信任，也极力要通过促成和议来巩固权位，主战的岳飞自然是他必欲除之而后快的对象。
宋高宗在靖康之难时曾在金营充当人质，早早就落下了“恐金”的病根。当金人一心要殄灭他的小朝廷时，他不得不任用武将，与金对抗。等到形势有所好转，他就急于跟金人和谈，只要承认他儿皇帝的地位，怎样屈辱的条件都可以接受，所谓“恢复中原，迎回二帝”，只不过是他驱使南宋军民为他效力的空洞口号。
同时，高宗虽然怯懦，但并不愚蠢。一旦议和成为可能，他的注意力便立刻转到整顿内部，巩固皇权。祖宗的“圣训”，言犹在耳;武将的跋扈，他也是亲身领教过的(如“苗刘兵变”)。为了削夺武将兵权，铲除一切可能对皇权构成威胁的势力，他不惜杀害岳飞，自毁长城。
宋理宗时，徐集孙有《岳鄂王墓》诗，内中有云：“班师似出高宗意，逢恶徒成秦相奸。”就连金朝人也说：“威略震主者身危，功盖天下者不赏，自古如此，非止于今。飞之威名战功暴于南北，一旦见忌，遂被叁夷之诛，可不畏哉!”
直到秦桧死时，宋高宗还不止一次地告诫文武臣僚说：对金媾和，是出于他本人的决策，不允许任何人趁秦桧之死而对此事再提异议，动摇既定国策。
王夫之曾一语道破宋高宗和秦桧之间互相利用、狼狈为奸的关系：“高宗之为计也，以解兵权而急于和;而桧之为计也，则以欲坚和议而必解诸将之兵，交相用而曲相成。”
