Sekolah ini berasal dari surau jembatan besi. Surau berarti langgar atau masjid. Lembaga pendidikan Surau berarti pengajian di Masjid, mirip dengan pesantren di Jawa. Haji Abdullah Ahmad dan Haji Rasul pada tahun 1906 telah merintis perubahan “sistem surau” menjadi sistem sekolah. Pada tahun 1919 Haji Jalaludin Hayib menerapkan sistem kelas dengan lebih sempurna. Ia mengharuskan pemakaian bangku dan meja, kurikulum yang lebih baik, dan kewajiban pelajar untuk membayar uang sekolah. Selain itu kepada para pelajar pun diperkenalkan koperasi pelajar guna memenuhi kebutuhan seharihari mereka. Koperasi ini berkembang menjadi organisasi sosial yang menyantuni sekolah Thawalib dengan nama Sumatera Thawalib. Sejak itu organisasi ini tidak lagi dipimpin oleh murid, tetapi oleh para guru.
Pada tahun 1929 organisasi Thawalib memperluas keanggotaannya. Tidak hanya guru dan murid di sekolah itu, melainkan juga para alumni. Selain itu, keanggotaan pun terbuka bagi mereka yang bukan murid, guru, dan alumni atau mereka yang tidak memiliki hubungan apapun dengan sekolah Thawalib. Organisasi Sumatera Thawalib berkembang menjadi sebuah organisasi kemasyarakatan yang bergerak dalam bidang pendidikan dan sosial. Akhirnya organisasi Sumatera Thawalib berkembang menjadi organisasi politik dengan nama Persatuan Muslimin Indonesia, disingkat Permi. Permi merupakan partai Islam politik pertama di Indonesia. Asas Permi tergolong modern. Bukan hanya Islam, tetapi juga Islam dan Nasionalis.
Referensi :
http://pendidikan60detik.blogspot.co.id/2015/12/organisasi-organisasi-islam-di-nusantara.html
