Perpamsi berdiri secara resmi pada tanggal 8 April 1972. Gagasan pendirian Perpamsi di cetuskan oleh beberapa Direktur Utama Perusahaan Air Minum (PDAM) yang pada masa itu jumlahnya baru sekitar 50 PDAM di seluruh Indonesia. Para tokoh yang mensponsori berdirinya organisasi seprofesi di lingkungan PDAM tersebut antara lain Ir. Irwin Nazir (Direkur Utama PAM DKI Jaya) bersama dengan Drs. Sahat Panjaitan, Ir. Achmad W.A (Direktur Utama PDAM Kodya Bandung) , Ir.Soebiyanto (Direktur Utama PDAM Kodya Semarang), Ir.Haryono (Direktur Utama PDAM Yogyakarta), Ir. Moch. Dahlan (Direktur Utama Kodya Surabaya), dan Ir. Pedi Nata Soewarna (Direktur Utama PDAM Kodya Pontianak).Ketika itu, banyak masalah yang dihadapi oleh PDAM tidak dapat diselesaikan hanya di tingkat daerah, maka para pendiri PERPAMSI menyatukan tekad untuk mendirikan suatu wadah organisasi seprofesi di lingkungan PDAM seluruh Indonesia yang di harapkan dapat membantu menyelesaikan masalah yang dihadapi oleh PDAM secara nasional,di tingkat pusat maupun daerah.Setelah melakukan beberapa kali pertemuan dan rapat koordinasi pendahuluan, diselenggarakan Musyawarah Antar Perusahaan Air Minum (MAPAM) yang pertama di Kopeng, Jawa Tengah, pada tanggal 7 – 8 April 1972, dihadiri para pemimpin dari 50 PDAM dari berbagai daerah di Indonesia. Musyawarah tersebut menyepakati berdirinya organisasi seprofesi di lingkungan PDAM di seluruh Indonesia yang diberi nama Perserikatan Perusahaan Air Minum Seluruh Indonesia, di singkat PERPAMSI. Pada saat itu pula Anggaran Dasar dan Anggaran Rumah Tangga, serta susunan pengurus yang berbentuk Dewan Pimpinan.
Pada awalnya, operasional PERPAMSI adalah bagian integral dari Badan Kerja Sama Antar Kota Seluruh Indonesia (BKS – AKSI). Tetapi bersadarkan urgensi, peranan dan perkembangan organisasi PERPAMSI sendiri, maka setelah di adakannya Musyawarah Antar Kota Seluruh Indonesia (MAKSI) ke-5 di Surabaya pada bulan Januari 1975, hubungan antara PERPAMSI dengan (BKS – AKSI) tersebut berubah menjadi hubungan afiliasi koordinasi. Selanjutnya, organisasi PERPAMSI bersifat profesi semi – official yang pembinaan umumnya dilakukan oleh Departemen Dalam Negeri RI, pembinaan teknik oleh Departemen Pekerjaan Umum RI, dan pembinaan kualitas oleh Departemen Kesehatan RI.