Nel 600 all' abate Probus fu commissionata da Papa Gregorio Magno la costruzione di un ospedale a Gerusalemme per avere cura dei pellegrini cristiani in Terrasanta.
Nell' 800 Carlomagno, Imperatore del Sacro Romano Impero, ingrandì l'ostello di Probus e vi aggiunse una biblioteca. Circa due secoli dopo, nel 1005, l' Imam Fatimide al-Hakim distrusse l'ostello assieme con altri tremila edifici. Fece portare ai cristiani, appese al collo, delle croci di legno, lunghe circa un metro e larghe mezzo. Malgrado ai cristiani non fosse permesso di acquistare schiavi, maschi o femmine, e godessero di pochi privilegi, ad essi era concesso di usare i cavalli a condizione che essi cavalcassero con la sella di legno e finimenti disadorni.

Nel 1023 i rapporti tra cristiani e musulmani si riallacciarono e dei mercanti da Amalfi e Salerno ebbero il permesso dall'Imam Fatimide d' Egitto al-Zahir di ricostruire l'ospizio a Gerusalemme. L'ospizio, che fu edificato sul luogo del monastero di San Giovanni Battista, era un luogo nel quale assistere i pellegrini di ogni fede o razza. Questa struttura era servita da frati Benedettini. L'Ordine Ospitaliero fu fondato in seguito alla prima crociata, ma ancora non era un vero e propio ordine militare, la "militarizzazione" avvenne solo in seguito, il fodatore fu Beato Gerardo, ritenuto da alcuni amalfitano da altri francese.

Con la conquista di Gerusalemme nel 1099 e con la costituzione del Regno di Gerusalemme ad opera dei crociati in Terrasanta, cominciano ad affluire sempre più numerosi i pellegrini da tutto il mondo cristiano. Ma i musulmani non si rassegnano alla sconfitta e cercano ripetutamente di riconquistare la Palestina e l'Ordine si vide costretto ad assumere la difesa militare dei malati, dei pellegrini e dei territori sottratti dai Crociati ai Musulmani. A Beato Gerardo succedette Raymond du Puy de Provence che stabilì il primo significativo sanatorio degli Ospitalieri nei pressi della Chiesa del Santo Sepolcro a Gerusalemme. Il gruppo inizialmente si prendeva cura solo dei pellegrini giunti a Gerusalemme, ma presto l'ordine estese i suoi servizi alla scorta armata ai pellegrini. La scorta in breve crebbe fino a diventare una sostanziosa forza armata.

Assieme con i Cavalieri Templari, formatisi poco dopo nel 1119, gli Ospitalieri divennero uno dei più potenti gruppi cristiani nell'area. L'Ordine cominciò a distinguersi in battaglia contro i musulmani e i suoi soldati indossavano una sopravveste nera con una croce bianca. Dalla metà del XII secolo l'ordine era nettamente diviso tra membri militari e coloro che prestavano assistenza ai malati. Era ancora un ordine religioso e aveva funzionali privilegi concessi dal Papato, tra i quali l'indipendenza da ogni autorità che non fosse quella del Papa stesso, il non pagare tributi e la concessione di edifici religiosi.Molte delle fortificazioni più importanti in Terrasanta erano opera dei Templari o degli Ospitalieri; presso il Regno di Gerusalemme gli Ospitalieri tenevano sette grandi forti e altri 140 possedimenti nell'area. I due maggiori, le loro basi nel Regno e nel Principato di Antiochia, erano il Krak dei Cavalieri e Margat, entrambi situati nei pressi di Tripoli (oggi in Libano).

Gli avversari musulmani diedero loro l'appellativo di "uomini neri" sia per le loro vesti che per per il grande impeto nelle battaglie. La loro fama assume proporzioni leggendarie al pari di quelle dei Templari. Nel 1187 nella caduta di Gerusalemme gli ospitalieri si sacrificheranno in massa per difenderne le mura, anche frà Ruggero des Moulins, gran maestro dell'Ordine, cadrà combattendo contro l'enorme esercito di Saladino.

Una volta perduta Gerusalemme i crociati si ritirano nelle altre città del regno latino di Gerusalemme rimaste in loro mano: Antiochia, Tiro, Edessa, Giaffa, San Giovanni d'Acri. Ospitalieri, Teutonici e Templari presidiano la smisurata frontiera da inaccessibili castelli che dominano i principali punti del territorio. Nel 1271, la più leggendaria e possente di queste fortezze, il Krak dei cavalieri, cade in mano ai musulmani. La perdita della fortezza Krak e l'intero sterminio della guarnigione ospitaliera suscitarono panico e sgomento nella comunità cristiana. Inoltre, dall'Europa non giunsero soccorsi e i cavalieri cristiani furono lasciati da soli contro la morsa musulmana che andava stringendosi sempre di più.

In poco tempo caddero, Giaffa, Tripoli e la roccaforte di Margat. Poche centinaia di cavalieri ospitalieri, templari, teutonici si ritirano ad Acri per permettere alla popolazione superstite di imbarcarsi per l'Europa. Resistono per oltre un mese contro centosessantamila saraceni, fino a che non furono messi in salvo gli ultimi cristiani che popolavano Acri. Ormai ridotti a poche decine i cavalieri dei vari ordini dato che la morte sarebbe arrivata a breve e per un estrema resistenza si raggrupparono su una torre, ma questa crollò a seguito di un violento attacco da parte dei musulmani. La leggenda narra che l'urlo di battaglia lanciato dai cavalieri nel loro ultimo attacco nella torre fu talmente forte che si udì dalle barche dei superstiti ormai distanti miglia e miglia dalla costa.