В апреле 656 года у Медины стали лагерем ополчения из Египта, Куфы и Басры, выступившие против халифата Османа и требовавшие его отречения от власти. Али открыто не поддерживал цели оппозиционеров, но и не смог удержать мятежников от убийства третьего «праведного» халифа (июнь 656 года). 24 июня 656 года Али был провозглашен новым халифом. Данный исход вызвал недовольство некоторых влиятельных курайшитов и представителей рода омейя, главным действующим лицом которых стал наместник Сирии Муавийя ибн Аби Суфьян (?–680). В стране развернулась гражданская война. Война послужила одной из причин возникновения секты харидчитов, ратовавших за принцип верховенства мусульманской общины: только община имела право избирать и низлагать халифов, причем избранником мог стать любой правоверный мусульманин. Обоих боровшихся за власть в халифате они считали узурпаторами. которых следует убить. Али был убит 17 июля 658 года одним из хариджитов. Покушение на Муавию не удалось и он провозгласил себя халифом и основал династию Омейядов
После смерти Али его личность стала легендарной, а сам халиф был причислен к числу самоотверженных и бескорыстных «рыцарей ислама». Еще при избрании первого халифа (632) выделилась группа мусульман, поддерживавших кандидатуру Али в качестве наиболее достойного преемника Мухаммеда и ратовавших за передачу власти в государстве по наследству прямым потомкам Пророка от его дочери Фатимы. Со временем сторонники данного подхода сложились в «партию Али» («аш-шиат Али») и стали именоваться как шииты