Pondok Pesantren al Ittifaq berdiri pada tanggal 1 Februari tahun 1934 dan dipimpin oleh KH Mansyur. Saat itu berfokus pada pendidikan keagamaan, terutama pesantren tradisional yaitu Salafiyah. KH Mansyur memimpin al Ittifaq sampai tahun 1953, lalu dilanjutkan oleh putranya, H. Rifai. Saat dipimpin H, Rifai, ponpes al Ittifaq tidak mengalami perkembangan berarti, saat itu ada 3 larangan yang dilestarikan di pondok ini, tidak boleh membangun tembok, tidak boleh belajar huruf latin, dan tidak boleh bergaul dengan pemerintah. Hal ini berlangsung lama hingga tahun 1970. Pada tahun itulah pondok pesantren dilanjutkan oleh KH Fuad Affandi, putra dari H. Rifai.
Sejak kepemimpinan KH Fuad inilah, pondok pesantren ini megalami kemajuan pesat, ada beberapa kebijakan yang diterapkan oleh Mang Haji, panggilan akrab dari KH, Fuad Affandi. Diantara kebijakan itu adalah. Pertama, memberi nama Al Ittifaq yang bermakna persetujuan atau kesepakatan, maksudnya adalah agar semua pihak dalam pondok pesantren ini melakukan kerja sama dengan baik atau sama sama bekerja dengan baik. Kedua, melakukan hal hal yang selama ini dilarang oleh kakek dan ayahnya, yaitu mulai membangun, mengarahkan santrinya untuk sekolah formal dan melakukan kerjasama dengan berbagai unsur pemerintah. Ketiga, menjadikan Al Ittifaq sebagai pesantren khusus bagi orang yant tidak mampu atau yatim piatu dan Keempat, merintis kegiatan-kegiatan ekonomi produktif, terutama sektor pertanian yang bertujuan agar pesantren dapat mandiri dalam membiayai kegiatan belajarnya.