Γεννήθηκε στα τέλη του 17ου αιώνα στη Μικρή Ρωσία και ανατράφηκε με ευσέβεια. Υπηρέτησε ως στρατιώτης στον στρατό του Πέτρου του Μεγάλου και αιχμαλωτίστηκε κατά τη διάρκεια του ρωσοτουρκικού πολέμου. Πωλήθηκε σε Τούρκο διοικητή, υπέμεινε βασανιστήρια με σταθερότητα και δεν αρνήθηκε τον Χριστιανισμό, δηλώνοντας: "Γεννήθηκα Χριστιανός και θα πεθάνω Χριστιανός." Η καλοσύνη και η επιμέλειά του κέρδισαν τον σεβασμό του αφεντικού του, ο οποίος του προσέφερε ελευθερία, αλλά προτίμησε να παραμείνει στον στάβλο για προσευχή.
Ο Άγιος Ιωάννης υπηρέτησε τον αφέντη του, βοήθησε τους φτωχούς και μοιράστηκε το φαγητό του μαζί τους. Πριν από τον θάνατό του, κάλεσε έναν ιερέα, ο οποίος του έφερε τα Άγια Δώρα, και κοινωνούσε, μετά από το οποίο αναχώρησε προς τον Θεό στις 27 Μαΐου 1730. Το σώμα του θάφτηκε σύμφωνα με τον χριστιανικό τύπο, και πολλοί Χριστιανοί συγκεντρώθηκαν για την κηδεία.
Τρίαμισι χρόνια αργότερα, τα λείψανα του αγίου βρέθηκαν άφθαρτα και μεταφέρθηκαν στην εκκλησία του Αγίου Γεωργίου του Μεγαλομάρτυρα, όπου άρχισαν να συμβαίνουν θαύματα. Ο άγιος άρχισε να τιμάται όχι μόνο από τους Ορθόδοξους, αλλά και από Αρμένιους και Τούρκους. Το 1881, μέρος των λειψάνων μεταφέρθηκε στο ρωσικό μοναστήρι του Αγίου Παντελεήμονα του Μεγαλομάρτυρα.
Το 1898, εγκαινιάστηκε μια νέα εκκλησία προς τιμήν του Αγίου Ιωάννη του Ρώσου. Το 1924, τα λείψανα μεταφέρθηκαν στο νησί της Εύβοιας, όπου βρίσκονται στην εκκλησία των Αγίων Κωνσταντίνου και Ελένης, και το 1951 μεταφέρθηκαν σε νέα εκκλησία προς τιμήν του Αγίου Ιωάννη του Ρώσου, όπου συρρέουν προσκυνητές, ιδιαίτερα την ημέρα της μνήμης του, 27 Μαΐου.
