Sekolah Menengah Kebangsaan Tuanku Abdul Rahman, Gemas mengambil nama sempena nama yang Almarhum Tuanku Abdul Rahman Ibni Tuanku Muhammad. Nama asal sekolah ini ialah Tuanku Abdul Rahman English, Gemas.
Pada tahun 1943 hingga 1948,sekolah ini ditadbir oleh pihak swasta dan mempunyai peringkat sekolah rendah dan menengah. Ketika itu, tapak asal sekolah ini terletak di sebuah bukit berhampiran dengan jalan cantik, jalan damai dan jalan molik,iaitu berdekatan dengan kawasan perumahan pengawal keretapi tanah melayu malaysia berhad [ktmb], gemas.
