Abon Aziz merupakan sosok ulama yang telah banyak melahirkan kader ulama dan tokoh dalam masyarakat. Ia sebagai seorang ulama kharismatik Aceh garis keturunannya juga merupakan tokoh agama berpengaruh dalam masyarakat.
Beliau bernama asli Teungku Haji Abdul Aziz bin M. Shaleh. Dalam penelusuran penulis terhadap beberapa naskah, beliau lahir di sebuah gampong bernama Kandang di Kecamatan Samalanga, dulunya dalam Kabupaten Aceh Utara. Namun, setelah pemekaran, Samalanga menjadi bagian dari Kabupaten Bireuen.
Al-mukarram Abon dilahirkan pada bulan Ramadhan tahun 1351 H atau bertepatan dengan 1930 tahun Masehi. Dalam perjalanan hidupnya, al-mukarram dibesarkan dan diasuh di Jeunieb. Kondisi ini disebabkan ayahanda beliau pernah menjabat Kepala Kantor Urusan Agama (KUA) Jeunieb.
Ayahnda Abon juga tokoh agama yang berperan penting dan banyak berjasa dalam memajukan pendidikan agama khususnya dayah. Salah satu buktinya Dayah Darul Atik Jeunib, pendirinya ayahanda al-Mukarram Abon Aziz Al-Mantiqi. Abon Aziz masa kecil menghabiskan waktu di Jeunieb dan juga belajar ilmu agama di dayah tersebut.
Abon juga pernah masuki sekolah SR (Sekolah Rakyat) pada tahun 1937. Tidak lama setelah itu, beliau menamatkan pendidikan dasarnya pada tahun 1944. Pendidikan formal Abon hanya menamatkan SR. Abon sejak tahun 1944 belajar pada ayahandanya selama dua tahun.