Ditubuhkan pada 1 Januari 1962 dan ditempatkan di bangunan lama sekolah Jalan Pasar, sekolah yang hanya menampung murid lelaki dan dinamakan SRK Jalan Pasar dengan Guru Besarnya iaitu Encik Yang Kee Meng.
Pertambahan warga kota di sekitar Jalan Shaw (sekarang Jalan Hang Tuah) telah menyebabkan perlunya didirikan sebuah sekolah untuk pendidikan kanak-kanak di kawasan tersebut. Untuk tujuan inilah SRK Jalan Shaw dibangunkan di satu tapak seluas 0.93 hektar milik kerajaan dengan terpaksa memindahkan sebuah kuil Hindu dan penduduk setinggan itu.
Sekolah yang mula berfungsi pada 1964 dengan membawa perpindahan murid-murid lelaki seramai 603 orang, kini mula membuka pintu kepada murid perempuan. Pertambahan bilangan murid yang begitu mendadak telah memaksa satu detik bersejarah berlaku di sekolah ini dengan membahagikan mereka kepada dua unit. Lahirlah SRK Jalan Shaw (2) yang menampung seramai 818 murid ketika itu.
Pada tahun 1967 pagar sekolah ini dibina dengan dua pintunya menghala ke dua sisi jalan. Sepuluh tahun kemudian, pada tahun 1977 sebuah padang diperuntukkan di atas tapak runtuhan kuarters kerajaan yang tertentunya dipenuhi dengan batu.
Pada tahun 1972 semasa Encik Gurnam Singh berkhidmat sebagai Guru Besar, kipas angina dipasang di setiap bilik darjah. Beliau juga telah menubuhkan sebuah perpustakaan ditingkat tiga yang kemudiannya dipindahkan ke tingkat satu pada pertengahan 1991.
Sebuah klinik gigi yang dikendalikan oleh seorang Staff Nurse dan pembantunya berfungsi memberi kesedaran kepada murid tentang pentingnya kebersihan gigi dan mulut.
Sebuah kantin dan sebuah kedai buku masing-masing dikendalikan oleh pengusaha yang dipilih melalui tender dan dapat memberi manfaat kepada murid dalam perkhidmatan mereka.
Pada awal pertubuhan sekolah ini, selain daripada Guru Besar, Lembaga Pengurus adalah satu badan yang bertanggungjawab mengawal kewangan sekolah. Pengerusinya yang pertama ialah Encik Hew Kong Teck AMN, PJK. Namun perkhidmatan Lembaga Pengurus ini berfungsi hanya setakat 1976.
Pada tahun 1974 Persatuan Ibu Bapa dan Guru (PIBG) telah ditubuhkan. Sebagaimana di sekolah-sekolah lain PIBG adalah pernghubung antara sekolah dan masyarakat. PIBG juga membantu sekolah dalam berbagai aspek selain dari pentadbiran.
Bangunan ”Kecil bernilai” ini dikelilingi oleh bekas Penjara Pudu, Dewan Bahasa dan Pustaka dan berlatar belakangkan rumah pangsa Dewan Bandaraya Kuala Lumpur.
