Dia lahir di Crosshouse, sebuah desa pertambangan dekat Skotlandia. Fisher hampir tidak memiliki latar belakang pendidikan formal. Sejak kecil, dia bekerja di pertambangan.
Pada 1885, Fisher dan kakak laki-lakinya bermigrasi ke Queensland, mengadu nasib di pertambangan, di Burrum dan Gympie. Di tempat yang terakhir inilah, dia menikah dengan Margaret Irvine, dan aktif di Persatuan Amalgamated Miners.
Fisher juga menjadi salah satu pemilik surat kabar tenaga kerja, <>the Gympie Truth. Kariernya terus menanjak hingga dia terpilih menjadi Perdana Menteri Australia, dan dua kali terpilih kembali menduduki posisi tersebut.
