En 1966, Harrison se casó con una modelo, Pattie Boyd, pero se divorciaron en 1971 y no tuvieron hijos. Boyd dejó a Harrison para estar con su amigo, el guitarrista Eric Clapton, pero los tres siguieron siendo amigos. Harrison se casó de nuevo en 1978 con la estadounidense Olivia Trinidad Arias, que había trabajado para su compañía discográfica. Arias se convirtió en la madre del hijo de Harrison, Dhani, cuyo nombre está compuesto por los nombres de dos notas de la escala musical india. Dhani creció y se convirtió en músico como su padre, al frente de la banda thenewno2. Estudió en la Universidad de Brown, en Estados Unidos.
A finales de la década de 1970, Harrison creó una productora cinematográfica, Handmade Films, que produjo películas como La vida de Brian de los Monty Python y Time Bandits de Terry Gilliam.
Los terrenos de la casa de Harrison, Friar Park, habían estado más o menos abiertos al público, hasta el asesinato de su antiguo compañero de banda John Lennon a finales de 1980. Harrison estaba muy dolido y conmocionado por la muerte de Lennon, y temía que alguien intentara hacerle daño a él o a su familia. Después, se cerraron las puertas y se colocaron avisos de prohibición de entrada. En diciembre de 1999, un intruso entró en su casa y lo apuñaló con un cuchillo. Harrison y su esposa Olivia detuvieron al intruso y llamaron a la policía. Harrison se recuperó. El hombre que le atacó es esquizofrénico y fue absuelto de intento de asesinato por razón de demencia en noviembre de 2000 en el Tribunal de la Corona de Oxford. Fue enviado a un hospital psiquiátrico y liberado en 2002.