Sejarah   sekolah    smk   Tuanku  Abdul  Rahman,  Gemas  mengambil  nama   yang  Almarhum  Tuanku   Abdul  Rahman  lbni   Tuanku   Muhammad.   Nama   asal   sekolah   ini  ialah   Tuanku  Abdul  Rahman   English  Gemas .

             Pada  tahun  1943  hingga  1948, sekolah  ini  ditadbir  oleh pihak swasta   dan   mempunyai   peringkat  sekolah  rendah   dan  menengah. Ketika  itu, tapak asal  sekolah  ini  terletak   di   sebuah  bukit  berhampiran  dengan   jalan  cantik,  jalan   Damai,    dan   jalan    molik,  iaitu  berdekatan  dengan  kawasan perrumahan  pengawal  Keretapi  Tanah Melayu Malaysia Berhad  (KTMB),Gemas.

              Pada  tahun  1949, sekolah ini  telah  diambil  alilh oleh  pihak kerajaan dan dipindahkan  ke   bangunan  barunya  iaitu   di  belakang  Kuil  Hindu  iaitu   menghadap  ke Padang

Keretapi  Tanah  Malaysia  Berhat (KTMB),Berhat. Upacara  perasmian  bangunan   sekolah  Almarhum  Tuanku  Abdul  Rahman   yang  baru  dibina  disempurnakan  oleh   Alarum  Tuanku  Abdul  Rahman  lbin   Tuanku   Muhammand pada tahuan 1949.  Encik V.M Francis  adalah pengetua  sekolah  ini  yang pertamah.

       Pada tahun  1952, sekolah  ini  telah  dipindahkan  ke  bangunan  baru  iaitu  di  jalan  Tok  Sulong  di  mana  terletaknya  Sekolah  Rendah  Kebangsaan  Tuanku  Abdul Rahman, Gemas  yang ada  sekarang. Sehingga  tahun 1967, sekolah ini  masih  mempunyai  gabugan sekolah  rendah  dan  menangah. Pada  awal  tahun 1968,bangunan  khas  untuk Sekolah  Menengah  Tuanku Abdul Rahman, Gemas  siap dibina. Banggunan ini  telah  dibuka secara  raminya oleh Tan sri Mohd. Hajoi  Johari pada hari Isnin bersamaan 7 Oktober 1986.

        Sebenarnya perancangan awal pembinaan sekolah ini adalah di atas Bukit Masjid, Gemas tetapi memandangkan kos dan masa pembinaannya yang terhad , maka lokasinya beralih ke padang sekolah di mana letaknya Sekolah Menengah Kebangsaan Tuanku Abdul Rahman , Gemas sekarang.