Elijah McCoy est le fils de George McCoy et Mildred Goins, deux esclaves qui se sont enfuis du Kentucky pour se rendre à Colchester (Ontario), par le chemin de fer clandestin.
Elijah est encore enfant lorsque sa famille retourne aux États-Unis et s'installe à Ypsilanti (Michigan).
Lorsque Elijah a 15 ans, ses parents l'envoient étudier l'ingénierie mécanique à Édimbourg, en Écosse.
Après ses études, il rentre aux État-Unis. Malgré ses compétences, il ne trouve d'autre emploi que celui d'aide-mécanicien ou de charbonnier sur une ligne ferroviaire du Michigan.
Pendant qu'il travaille à cet emploi, il invente et fait breveter aux États-Unis (1872) ses « améliorations apportées aux graisseurs utilisés dans les moteurs à vapeur ».
En 1874, le Canada lui accorde un brevet pour ses « améliorations apportées aux graisseurs utilisés dans les moteurs à vapeur ».
Il semble qu'on ait forgé à partir de son nom l'expression anglaise « the real McCoy » (le véritable McCoy), utilisée lorsqu'on compare un article original à une copie.
Ses liens au Canada : le père d'Elijah, George McCoy, serait revenu au Canada et se serait enrôlé dans la milice pour combattre en 1870 la rébellion de la rivière Rouge. On dit aussi que le Canada a offert à George une terre en récompense de sa participation à la milice.
Exemples d'inventions que McCoy a fait breveter au Canada
| Numéro du brevet | Date de dépôt | Titre |
| 3499 | 1874 | Perfectionnements aux graisseurs de machines à vapeur |
| 14270 | 1882 | Perfectionnements aux graisseurs |
| 21799 | 1885 | Boîte à graisse |
