Mu‘in al-Madi nasceu na aldeia de Ijzim, no distrito de Haifa, Palestina, filho de Abdullah. Realizou seus estudos iniciais na escola da aldeia e, posteriormente, mudou-se para Haifa com o pai, onde completou sua educação na Escola Rashidiyya. Em 1908, ingressou no Colégio Malakiyya, em Istambul, onde se formou em 1912.
Após sua graduação, assumiu um cargo administrativo em Kashmuna, na Anatólia, mas rapidamente foi nomeado prefeito de Acre e, em seguida, comissário distrital da província de Baniyas, na Síria. Posteriormente, foi transferido para o governo central da província de Beirute.
Desde cedo, al-Madi se envolveu com o movimento nacionalista árabe, integrando a Sociedade Jovem Árabe, fundada em Paris em 1911. Durante a Primeira Guerra Mundial, foi preso por suas atividades nacionalistas, mas acabou absolvido pelo Tribunal Militar de Aley, no Líbano.
Com a entrada do exército árabe liderado pelo Emir Faisal em Damasco, em outubro de 1918, al-Madi deixou Beirute e passou a viver em Damasco, onde participou do Congresso Sírio-Geral, em julho de 1919, representando Haifa. Nesse congresso, defendeu a independência total da Síria e se posicionou contra a Declaração Balfour e a imigração judaica para a Palestina.
Em 1920, foi nomeado chefe dos Serviços de Inteligência do governo árabe de Faisal. No mesmo ano, fundou a Sociedade Árabe Palestina em Damasco, cujo objetivo era resistir à imigração judaica e promover a unificação da Palestina à Síria. Além disso, foi eleito membro da diretoria administrativa da entidade.
Após a queda do governo de Faisal em julho de 1920, diante da ofensiva francesa, al-Madi retornou à Palestina e participou do Terceiro Congresso Nacional Palestino, realizado em Haifa, em dezembro do mesmo ano, onde foi eleito membro do comitê executivo. Também integrou o Comitê Executivo Árabe, liderado por Musa Kazim al-Husseini, que viajou ao Cairo para discutir com Winston Churchill as demandas nacionalistas palestinas.
Al-Madi participou do Quarto Congresso Nacional Palestino, em Jerusalém, em 1921, e do Quinto Congresso, em Nablus, em 1922. No Sétimo Congresso, em 1928, foi eleito membro do Comitê Executivo Árabe, representando Haifa ao lado de Rashid al-Haj Ibrahim.
Em 1931, esteve presente no Congresso Pan-Islâmico realizado em Jerusalém e no Congresso Nacional Árabe realizado paralelamente, onde ajudou a fundar o Partido da Independência Árabe, que defendia a unidade dos países árabes e a integração da Palestina à Síria.
Durante a Revolta de 1936, al-Madi desempenhou um papel importante ao organizar manifestações de massa contra as políticas do Mandato Britânico e a imigração judaica. A partir desse momento, passou a ser alvo da vigilância britânica, o que o levou a se refugiar em Damasco e, posteriormente, em Istambul, durante a Segunda Guerra Mundial.
Após o fim da guerra, retornou à Síria e, em 1946, participou da celebração da retirada das tropas francesas do país. Em 1947, foi eleito membro do Comitê Superior Árabe para a Palestina, participando de reuniões da Liga dos Estados Árabes em Beirute e Sofar durante o período que antecedeu a votação da ONU sobre a partilha da Palestina.
Após a Nakba de 1948, refugiou-se em Damasco, onde faleceu e foi enterrado no cemitério al-Dahdah. Reconhecido como um dos mais firmes defensores da causa palestina, Mu‘in al-Madi permaneceu ativo na luta pela unidade árabe e pela resistência à ocupação sionista, conquistando o respeito e a admiração de todos que conviveram com ele.