Hijos de inmigrantes judíos rusos, Robert y Richard Sherman empezaron a escribir canciones juntos en 1951 por un reto de su padre, el compositor de Tin Pan Alley Al Sherman. Los hermanos escribieron juntos y con diferentes socios compositores durante el resto de la década.
En 1958, Robert fundó la editorial musical Music World Corporation. Más tarde se relacionó con la rama editorial de Disney afiliada al BMI, Wonderland Music Company. Ese mismo año, los hermanos Sherman tuvieron su primer éxito en el top 10 con "Tall Paul", cantado por la ratoncita Judy Harriet en el sello Surf Records. También fue cantada por la ratonera Annette Funicello. El éxito de esta canción llamó la atención de Walt Disney. Entonces contrató a los hermanos Sherman como compositores de plantilla para los estudios Walt Disney. La primera canción que escribieron por encargo personal de Walt Disney fue "Strummin' Song" en 1961. Se utilizó en la película para televisión de Annette Funicello titulada The Horsemasters.
Durante su estancia en Disney, los hermanos Sherman escribieron más partituras para películas que ningún otro compositor en la historia del cine. También escribieron la que quizá sea su canción más conocida, "It's a small world (after all)", para la Feria Mundial de Nueva York de 1964. Desde entonces, algunos afirman que se ha convertido en la canción más traducida e interpretada de la Tierra, aunque esto se debe en gran medida a que se interpreta en las atracciones del parque temático de Disney "it's a small world" del mismo nombre.
En 1965 los hermanos Sherman ganaron dos premios de la Academia por Mary Poppins, que incluye las canciones "Feed The Birds", "Supercalifragilisticexpialidocious" y la oscarizada "Chim Chim Cher-ee". Desde que se estrenó Mary Poppins, los Sherman han obtenido nueve nominaciones a los premios de la Academia, dos premios Grammy, cuatro nominaciones a los premios Grammy y 23 álbumes con certificación de oro y platino.
Robert y Richard Sherman trabajaron directamente para Walt Disney, completando las partituras de las películas musicales de acción real The Happiest Millionaire y The One and Only, Genuine, Original Family Band hasta la muerte de Disney en 1966. Desde que dejaron la compañía, los hermanos han trabajado como compositores independientes en las partituras de películas, programas de televisión, exposiciones en parques temáticos y musicales de teatro.
Su primer trabajo fuera de Disney fue la producción cinematográfica de Albert R. Broccoli Chitty Chitty Bang Bang para United Artists en 1968. Los hermanos obtuvieron su tercera nominación al Oscar a la mejor canción original por su memorable canción principal.
En 1970, los Sherman volvieron a Disney para una breve temporada en la que terminaron de trabajar en Los Aristogatos y Pomos y Escobas. Esta última película les valió su cuarta y quinta nominación al Oscar. En 1972 se estrenó Snoopy Come Home, por la que los hermanos recibieron una nominación al Grammy.
En 1973, los hermanos Sherman también hicieron historia al convertirse en los únicos estadounidenses en ganar el Primer Premio del Festival de Cine de Moscú por Tom Sawyer, del que también son autores del guión.
En 1976, "El zapatito y la rosa" fue elegida para ser la actuación del año de la Comandancia Real. A la representación asistió la Reina Isabel, la Reina Madre. Una versión musical moderna del clásico cuento de Cenicienta, "Slipper", también contaba con canciones, partitura y guión de los hermanos Sherman. Los hermanos obtuvieron otras dos nominaciones al Oscar por la película. Ese mismo año, los hermanos Sherman obtuvieron su estrella en el "Paseo de la Fama" de Hollywood, justo enfrente del Teatro Chino de Grauman.
Entre las muchas otras películas de los hermanos Sherman, tanto de Disney como ajenas a la compañía, destacan El libro de la selva (1967), Los aristogatos (1970), La trampa de los padres (1961), La telaraña de Carlota (1973), Huckleberry Finn (1974), Las múltiples aventuras de Winnie the Pooh (1977), Snoopy, vuelve a casa (1972), Pomos y escobas (1971) y El pequeño Nemo: Aventuras en Slumberland (1989).
¡Fuera de las películas, su éxito nominado a los premios Tony, Over Here! (1974) fue el musical original de Broadway más taquillero de ese año. Los hermanos Sherman también han escrito numerosas canciones de gran éxito, como "You're Sixteen", que alcanzó el número 10 de la lista Hot 100 de Billboard en dos ocasiones: primero con Johnny Burnette en 1960 y luego en el número 1 con Ringo Starr más de trece años después. Otros éxitos entre los diez primeros son "Pineapple Princess", "Let's Get Together" y otros.
En el año 2000, los hermanos Sherman escribieron la banda sonora de la película de Disney The Tigger Movie. Esta película supuso la primera gran película de los hermanos para la compañía Disney en más de 28 años.
En 2003, cuatro musicales de los hermanos Sherman se situaron entre las 10 películas infantiles favoritas de todos los tiempos en una encuesta nacional británica realizada por la BBC. En particular, Chitty Chitty Bang Bang 1968 encabezó la lista con el número 1.
En años posteriores, con el traslado de Robert a Londres, los hermanos escribieron muchas canciones nuevas para las presentaciones musicales de Chitty Chitty Bang Bang y Mary Poppins, producidas por Disney y Cameron Mackintosh.
Por su contribución a la industria cinematográfica, los hermanos Sherman tienen una estrella en el Paseo de la Fama de Hollywood, en el 6918 de Hollywood Blvd. El 9 de junio de 2005 ingresaron en el Salón de la Fama de los Compositores. El 16 de noviembre de 2006, Mary Poppins se estrenó en el New Amsterdam Theatre de Broadway.
El 17 de noviembre de 2008, los hermanos Sherman recibieron la Medalla Nacional de las Artes, que es el mayor honor que concede el Gobierno de los Estados Unidos a los artistas. El presidente de los Estados Unidos, George W. Bush, entregó el premio en una ceremonia celebrada en la Sala Este de la Casa Blanca.
El 22 de mayo de 2009 se estrenó en los cines The Boys: the Sherman Brothers' Story, una película sobre la pareja. La película fue dirigida y producida por sus hijos, Gregory V. Sherman y Jeff Sherman. Fue producida por Walt Disney Pictures.
En octubre de 2009, Disney publicó un compendio de 59 canciones y dos CDs de su trabajo para el estudio que abarca cuarenta y dos años. El CD se titula "The Sherman Brothers Songbook".
El 11 de marzo de 2010, los hermanos Sherman recibieron una ventana en Mainstreet Disneyland en Anaheim, California, en honor a su contribución a los parques temáticos de Disney. El 17 de mayo de 2010, los hermanos Sherman recibieron el "Career Achievement Award" en la Gala de Premios 2010 del Museo del Teatro en Nueva York.