关于赵高的身世，在史书中记载十分简略，仅见于司马迁在《史记· 蒙恬列传》的记述：“赵高者，诸赵疏远属也。赵高昆弟数人，皆生隐宫，其母被刑僇，世世卑贱。秦王闻高强力，通于狱法，举以为中车府令。”据此，清代有名的史学家赵翼，在《陔余丛考》卷四十一《赵高志在复仇》条云：“高本赵诸公子，痛其国为秦所灭，誓欲报仇……卒至杀秦子孙而亡其天下。则高以勾践事吴之心，为张良报韩之举，此又世论所及者也。”这种说法，据他自己说出自《史记索隐》，影响颇大，连郭沫若先生主编的《中国史稿》第二册中“秦末社会矛盾的激化”章节中也引用了这个观点，认为“赵高原是赵国远支宗室外的后代，因其父犯罪被处宫刑，当了宦官……骗取了秦始皇的信任。”
但是，对赵翼的这一观点，不少学者并不认同。因为查遍今本《史记》三家注中“索隐”部分，并无这种内容。《史记 · 蒙恬列传》说赵高为“诸赵疏远属也”，并不能理解为“赵诸公子”。“诸赵”一语，应是指秦国的王室，因为秦王室虽是赢姓，但却又以赵为氏。对于此，《史记》中有明文记载：太史公曰：“秦之先为赢姓。……然秦以其先造父封赵城，为赵氏。”《史记· 秦始皇本纪》也说：秦始皇“及生，名为政，姓赵氏。”可见，所谓“诸赵疏远属也”乃指赵高是秦王室的本家，因而所谓“赵高乃赵诸公子，痛其国为秦所灭，誓欲报仇”之说是站不住脚的。
翻阅先秦史料，对“赵高并非赵国公子”之论，还可以找出一些旁证。如早于司马迁《史记》的《淮南子》一书就以“赵”为秦王室的姓氏，在其《人间训》一节中写道：“秦王赵政，兼并天下而亡。”《泰族训》中也说：“赵政昼决狱而夜理书。”还有《汉书·陆贾传》也言“秦任刑法，卒灭赵氏。”这里说的赵氏也是指秦王室无疑。在其后的三国和六朝文学作品中，也是以“赵”为秦五族的姓氏的。如曹植《求自试表》：“绝缨盗马之臣赦，楚赵以济其难。” 这里说的“绝缨”“盗马”是两个有名的历史典故，绝缨是楚客报绝缨的故事，说的是楚庄王对臣下酒后对爱妃失礼的宽容，盗马说的是秦穆公，曾经走失了几匹好马，被生活在歧山之下的三百多个乡人捉住吃了。官吏抓住这些人准备严惩。穆公说：“君子那能因为几个牲畜去惩治人呢?我听说吃了好马肉的人，不喝酒会伤身体。”于是穆公赐酒请他们大喝一顿，并赦免了他们。文中“绝缨盗马之臣赦，楚赵以济其难。” 中不说楚秦而说楚赵，明确告诉我们在先秦时代，秦王室是以赵为姓氏的。
关于赵高是秦王室的本家，还可从东晋时王嘉的志怪小说《拾遗记》记述的一则故事反映出来：“秦王子婴立，凡百日，郎中令赵高谋杀之”，子婴梦见秦始皇的鬼魂对他说：‘余是天使也，以沙丘来。天下将乱，当有同姓欲相诛暴。’”子婴因此“囚高于咸阳狱”。这则故事虽然荒诞不经，不足为信，但从中也可看出有六朝以前的人，认为赵高是秦王室的同姓者这一点是无庸置疑的。
