I primi Carmelitani erano dei pellegrini o dei crociati. Giunsero sul Monte Carmelo in Terra Santa per vivere un'intensa vita di preghiera. Si insediarono accanto a una sorgente, chiamata "fonte di Elia". Erano semplici fedeli, nè sacerdoti nè monaci, e vivevano una vita fatta di preghiera, penitenza e povertà evangelica. Cercavano una via per seguire Cristo con semplicità e in santità. Iniziarono a vivere una forma di vita che continua a essere praticata fino ad oggi.
Tra il 1206 e il 1214, Sant'Alberto Patriarca di Gerusalemme diede agli eremiti del Monte Carmelo una regola che descriveva il loro ideale di vita comunitaria ed eremitica, secondo lo spirito delle prime comunità cristiane di Gerusalemme; egli chiese loro di eleggere uno dei fratelli come priore e di costruire una cappella dedicata alla Vergine Maria così che ogni giorno potesse essere celebrata l'Eucaristia.