Miał dwóch braci: Ludwika i Franciszka, ale pierwszy z nich zmarł niedługo po urodzeniu. Warunki w domu były bardzo ciężkie, gdyż rodzina wyrzekła się Gonzaleza za to, że będąc szlachcicem, śmiał wziąć za żonę dziewczynę z ludu. Jeszcze cięższe warunki nastały, kiedy zmarł ojciec. Jan miał wówczas dwa i pół roku.
W roku 1563, mając 21 lat, wstąpił do karmelitów i wtedy obrał sobie imię Jan od św. Macieja. Po ukończeniu studiów filozoficznych i teologicznych w Salamance, w 25. roku życia otrzymał święcenia kapłańskie (1567).
W dniu swojej Mszy prymicyjnej spotkał św. Teresę z Ávili, która podjęła się dzieła reformy żeńskiej gałęzi Karmelu. Te dwie bratnie dusze zrozumiały się i postanowiły wytężyć wszystkie siły dla reformy obu rodzin karmelitańskich.
W latach 1569-1571 został wybrany na mistrza nowicjatu. W roku 1571 został rektorem pierwszego klasztoru karmelitów w Alcali, który przyjął reformę. Równocześnie pełnił obowiązki spowiednika karmelitanek zreformowanych w Ávili (1572-1577).
W postępowaniu Jana przełożeni dopatrzyli się niesubordynacji. Obawiali się rozkładu zakonu. Posypały się napomnienia i nakazy. Gdy Jan okazywał się na nie głuchy, został aresztowany w Ávili w nocy z dnia 2 na 3 grudnia 1577 roku i siłą zabrany do Toledo. Wtrącony do więzienia klasztornego, był nie tylko pozbawiony wolności, ale skazany na głód i częstą chłostę. Nie załamał się jednak. Jak sam pisał, w „paszczy wieloryba” przebył
9 miesięcy. Pan Bóg w tych miesiącach udręki zalewał go potokami pociech mistycznych. „Noce ciemne” długiego więzienia wykorzystał dla doświadczenia nie mniej bolesnego stanu, kiedy Pan Bóg pozornie opuszcza swoich wybranych, by ich zupełnie oczyścić i ogołocić
z niepożądanych pragnień, uczuć i przywiązań.
15 sierpnia 1578 roku udało mu się uciec z zakonnego więzienia w Toledo po długich i żmudnych do tego przygotowaniach. Bracia z własnego klasztoru przyjęli go
z wielką radością. 9 października tego roku wziął udział w kapitule, na której został wybrany przełożonym konwentu w Jaen, w Andaluzji.
Cierpienia Jana podjęte dla reformy zaczęły owocować. Gorliwi zakonnicy widzieli w nim męczennika sprawy
i zaczęli przekonywać się do reformy.
Papież Sykstus V zezwolił na wybór osobnego wikariusza generalnego dla prowincji zreformowanych, ale generał miał być jeszcze wspólny dla obu rodzin karmelu. Papież miał bowiem nadzieję, że niebawem cały zakon przyjmie reformę. W roku 1588 odbyła się pierwsza kapituła generalna prowincji zreformowanych.
Jednak stronnictwo złagodzonej reguły wzięło górę. Jan został usunięty ze wszystkich urzędów i jako zwykły zakonnik zakończył niebawem życie w klasztorze w Ubedzie 14 grudnia 1591 roku w wieku zaledwie 49 lat. Umierał zupełnie osamotniony, bowiem św. Teresa z Ávili dawno już nie żyła – przeszła do nieba
4 października 1582 roku.
Najbardziej sławny stał się Jan od Krzyża dzięki swoim pismom. Było ich znacznie więcej, ale spalono je zaraz po jego śmierci w obawie, by nie dostały się do rąk wrogów zakonu jako materiał przeciwko złagodzonej regule. Pozostały 22 dzieła, w tym kilkanaście utworów poetyckich, które dla mistyki chrześcijańskiej mają wprost bezcenną wartość. Najważniejsze są dwa z nich: Noc ciemna i Pieśń duchowa. Są one perłą w światowej literaturze mistyki. Oba dzieła początek swój wywodzą z więzienia w Toledo. One też przysporzyły Janowi tytuł doktora Kościoła; dzięki nim zwany jest on także doktorem mistycznym. Dzisiaj jego dzieła są przełożone na wszystkie znane języki świata i należą do klasyki dzieł mistycznych.
Nie mniejszym powodzeniem cieszą się dotąd Droga na Górę Karmel i Żywy płomień. Nikt dotąd nie poddał stanów mistyki tak subtelnej analizie, jak właśnie Jan od Krzyża.
