James Scott avagy James Croft herceg II. Károly törvénytelen fia volt, aki a király száműzetése alatt, 1649. április 9-én látta meg a napvilágot Rotterdamban. Édesanyja az alig 18 éves király szeretője, a barna hajú, gyönyörű és merész Lucy Walter, vagyis Mrs Barlow volt. (a képen a herceg)
Mivel törvénytelen volt, nem lehetett jogos örököse, de Károly mégis maga akarta neveltetni a fiút. Lucy tartva attól, hogy fiát elveszik tőle, Londonba menekült a kisfiúval, ahol azonban Cromwell mindkettőjüket bebörtönözte a Towerba. Néhány kihallgatás után azonban szabadon engedték őket, így Flandriába mentek. 1658 márciusában azonban a kisfiút elszakították az anyjától, s Párizsba került, a Croft baronettek gondozásába, akik a következő években gondozták, nevelték, s akiknek a vezetéknevét fel is vette.