Era conocido por montar a caballo. Amaba a sus caballos y les daba terrones de azúcar cada dos días. Bautizó a un caballo, a pesar de ser judío, principalmente por presión. Lee fue un patriota en la causa rebelde. Se casó con Anne Hill Carter Lee y tuvo 7 hijos, entre los que destaca Robert E. Lee. Murió en 18188.