Jacques est né dans la ville de Nusaybin (dont le nom francisé est Nisibe) en Mésopotamie, au sud-est de la Turquie actuelle en limite avec la Syrie, aux confins des empires romain et perse, vers la fin du 3ième siècle. Après quelques années d’études, il se retira dans une grotte, se nourrissant de baies sauvages, recouvert d’une peau de chèvre, pour ne se consacrer qu’à la prière.
L’évêché de Nisibe étant devenu vacant, le clergé et le peuple connaissant les vertus de Jacques, le choisirent comme évêque. Il fut contraint d’accepter mais ne changea rien à ses habitudes monacales. Il s’attacha à soulager les misères spirituelles et matérielles de son peuple malgré les difficultés de la tâche, dans une époque qui connaissait encore les persécutions de l’empereur romain Maximien Galère avant que celui-ci ne promulgue son édit de tolérance en 311.
En 325 Jacques participe au concile de Nicée et se signale tout particulièrement par son opposition à l’arianisme dans les débats sur la divinité de Jésus-Christ. A son retour il fonde « L’école de Nisibe » avec à sa tête son disciple saint Ephrem.
En 338 il prendra une part active à la défense de sa ville attaquée par le roi des Perses Sapor II mais décédera le 15 juillet avant la victoire finale que tout le peuple lui attribuera néanmoins.