Pada tahun 1891, pusat pentadbiran kerajaan negeri Pahang telah dipindahkan dari daerah Pekan ke daerah Lipis. Walaupun rancangan pemindahan ini hanya untuk sementara sahaja, ia telah memakan masa lebih dari 64 tahun kerana pusat pentadbiran Negeri Pahang Darul Makmur hanya dipindahkan ke Kuantan pada tahun 1955.

Bagi memilih tempat yang bersesuaian bagi pusat pentadbiran negeri Pahang, pihak kerajaan negeri telah menumpukan kepada dua kawasan iaitu Temerloh / Mentakab dan Kuantan. Tetapi disebabkan bentuk mukabumi Temerloh / Mentakab yang tidak rata dan memerlukan perbelanjaan yang besar untuk pembangunannya maka Kuantan telah diputuskan untuk dijadikan ibu negeri Pahang.

Pusat pentadbiran negeri Pahang telah dipindahkan ke Kuantan secara rasminya pada hari Sabtu, 27 Ogos 1955 dengan disempurnakan oleh KDYMM Sultan Abu Bakar Ri'ayatuddin Al Muadzam Shah Ibni Al Marhum Al Sultan Abdullah Al Mu'tasim Billah, DK., SIMP., DK., SIMP., DK(Brunei)., DK(Johor)., DK(Perak)., SPDK(Sabah)., GCMG.

Bermula daripada tarikh tersebut, usaha telah digerakkan untuk membina sebuah bangunan kompleks pentadbiran kerajaan negeri. Sebuah kompleks pentadbiran yang diberi nama Wisma Sri Pahang telah siap dibina pada tahun 1970 dan pada tarikh 28 Februari 1970, pusat pentadbiran kerajaan negeri Pahang telah bepindah secara rasminya ke kompleks baru tersebut.

Pentadbiran Pejabat Setiausaha Kerajaan Negeri Pahang diketuai oleh YB Setiausaha Kerajaan Negeri. Pelantikan YB Setiausaha Kerajaan Negeri adalah berdasarkan Undang-Undang Tubuh Kerajaan Negeri Pahang. YB Setiausaha Kerajaan Pahang yang pertama ialah Dato' Setia Raja Abu Samah Bin Haji Ali. Beliau dilantik pada 1 Februari 1948 dan berkhidmat sehingga 2 Ogos 1952.