A Jiade Islâmica da Palestina foi oficialmente fundada na Faixa de Gaza, em 1981, por dois militantes palestinos: Fathi Shaqaqi, um médico da cidade de Rafá, e Abd al-Aziz Awda, um pregador islâmico do campo de refugiados de Jabaliya. Entre os fundadores também estavam Ramadan Shalah, Bashir Moussa e outros três ativistas palestinos. Antes de criarem a organização, Shaqaqi e Awda haviam sido integrantes da Irmandade Muçulmana, mas divergiram da linha da entidade e, em 1979, formaram a chamada Faccão Shaqaqi da Jiade Islâmica, um grupo ligado à Jiade Islâmica do Egito. Nos primeiros anos, o partido conduzia suas operações a partir do Egito.
A expulsão da organização do Egito em 1981, na sequência do assassinato do presidente egípcio Anwar Sadat por integrantes da Jiade Islâmica Egípcia, forçou Shaqaqi e Awda a retornarem à Faixa de Gaza, onde estruturaram formalmente a Jiade Islâmica da Palestina e passaram a coordenar suas atividades.
O objetivo da organização sempre foi a criação de um Estado palestino islâmico soberano nos territórios anteriores à ocupação de 1948. Rejeitando qualquer acordo político, o grupo sustenta que sua meta só pode ser alcançada por meio da luta armada.
As ações militares da Jiade Islâmica da Palestina tiveram início em 1984. Em 1988, seus principais líderes foram exilados por “Israel” para o Líbano, onde estabeleceram uma relação próxima com o Hesbolá, recebendo treinamento e apoio logístico do grupo e de seus aliados no Irã. Em 1990, a sede da organização foi transferida para Damasco, na Síria, onde continua até hoje, com escritórios também em Beirute, Teerã e Cartum.
Desde então, a Jiade Islâmica da Palestina protagonizou diversas ofensivas contra a ditadura sionista e, por suas táticas e compromisso com a luta contra “Israel”, é considerada uma das mais radicais na Resistência Palestina. Em 1995, o jornalista Robert Fisk descreveu a organização como “talvez o mais feroz inimigo moderno de Israel”. Por conta disso, sofreu forte repressão por parte do regime sionista e da Autoridade Palestina, o que reduziu momentaneamente sua força operacional.
Nos Estados Unidos, em 2003, o professor de engenharia da Universidade do Sul da Flórida, Sami Al-Arian, foi preso sob acusação de ligações com a Jiade Islâmica da Palestina. Ele foi condenado a 57 meses de prisão em um acordo judicial, mas todas as acusações foram retiradas em 2014.
A organização também enfrentou uma caça internacional. Em 1995, um de seus fundadores, Abd al-Aziz Awda, foi indiciado nos Estados Unidos e, em 2006, incluído na lista dos terroristas mais procurados pelo FBI.
Em 2012, o Hamas tentou se afastar da Jiade Islâmica da Palestina durante uma escalada do conflito em Gaza, na qual a organização participou ativamente, ao lado dos Comitês de Resistência Popular. O Hamas, porém, não aderiu aos combates.
Em 2015, a organização passou por uma crise financeira após a redução do apoio iraniano, motivada pela posição neutra do grupo em relação à intervenção saudita no Iêmen. O Irã passou então a direcionar fundos para um partido dissidente, chamada As-Sabirin, liderada por Hisham Salem. No auge do apoio iraniano, a organização chegou a receber cerca de 70 milhões de dólares por ano da Guarda Revolucionária Islâmica do Irã.