Raymond Matthews Brown nació el 13 de octubre de 1926 en Pittsburgh, Pensilvania. Primero estudió piano y tomó las primeras lecciones a los 8 años. A pesar de no ser un alumno muy asiduo, se convirtió en un buen pianista. Casi por casualidad se pasó al bajo: la orquesta de la escuela disponía de tres contrabajos y sólo dos contrabajistas. A falta del trombón con el que soñaba, Ray imaginó que este instrumento resultaría menos difícil que el piano y se puso a estudiarlo por su cuenta, tras lo cual pasó a tocar un poco por toda la ciudad. Terminó por llevarse el contrabajo a casa para trabajar mejor. Su primer concierto, en Pittsburgh, le supuso problemas con su escuela: una foto publicada en la prensa local mostraba a Ray Brown utilizando en el concierto el instrumento propiedad de la escuela. Finalmente su padre le compró su primer contrabajo. Brown debutó en 1944 justo al terminar el instituto con el sexteto de Jimmy Hinsley y se fue de gira con ellos durante seis meses. El año siguiente, tocó con la orquesta de Snookum Russell, lo que le permitió descubrir varios clubes de jazz por todo el país. A los 20 años decidió abandonar el grupo de Russell y trabajar como free-lance.
Tomó un bus de Miami a Nueva York. El viaje duró 24 horas... Al llegar, dejó sus maletas en casa de una tía suya y, acompañado por uno de sus primos, se dirigió hacia la calle 52. No llevaba ni siquiera 4 horas en Manhattan cuando Hank Jones le presentó a Dizzy Gillespie. Este último, que había oído hablar de él, le invitó a un ensayo para la tarde del día siguiente. Ray Brown trabajó los dos siguientes años con Dizzy, Charlie Parker, Bud Powell y Max Roach primero y después en la primera big-band del trompetista. Durante este período Brown conoció a Norman Granz (al remplazar a un bajista), trabajó con él durante 18 años y se convirtió en un habitual del Jazz At The Philharmonic. Ahí conoció a Oscar Peterson, con quien simpatizó, antes de incorporarse a su célebre trío, de 1961 a 1966. En 1948, tras dejar el grupo de Gillespie, Brown montó su propio trío con Hank Jones y Charlie Smith –al haberse casado con Ella Fitzgerald, de quien se divorció en 1953, contaba con una formación capaz de acompañar a la cantante. Tras el divorcio, los dos artistas siguieron tocando juntos. En los años cincuenta, Brown grabó, entre otros, con el Milt Jackson Quartet (que se convertiría en el Modern Jazz Quartet). En 1952, Brown conoció a un joven trompetista de la orquesta de Lionel Hampton, Quincy Jones. No tocaron juntos hasta 10 años después, pero había nacido la amistad entre ellos. En 1957-58, Brown grabó con Barney Kessel y Shelly Manne varios discos en trío – bajo el nombre de "Poll Winners".
En los años sesenta, tras abandonar el trío de Oscar Peterson (dejó su lugar a Sam Jones), Brown se instaló en Los Ángeles. Compuso abundantemente para la televisión y el cine, colaboró con Michel Legrand, Oliver Nelson (siguió haciéndolo durante los años setenta). Participó en varios programas de televisión famosos en Estados Unidos – el Joey Bishop Show, el Red Skelton Show, el Smothers Brothers Show -, e incluso apareció frecuentemente en el Merv Griffin Show. Asimismo, se le podía ver a menudo acompañando a Frank Sinatra en programas de televisión. A principios de 1974, creó el L.A. Four, con Bud Shank, Laurindo Almeida y Shelly Manne (más tarde, Jeff Hamilton). Colaboró con Quincy Jones para producir un programa de televisión dedicado a Duke Ellington (Duke Ellington, We Love you Madly!), cuando el duque aún estaba con vida (Brown admiraba mucho a Ellington y a Jimmy Blanton). En 1979-80, formó un quinteto con Milt Jackson y, más tarde, con Gene Harris, Al Grey, el guitarrista de Luisiana Ron Eschete y Grady Tate. Hasta su muerte tocó con su propio trío aunque también lo hizo a menudo con Monty Alexander.
Aparte de las 2.000 sesiones de grabación en las que participó, Ray Brown fue durante mucho tiempo asesor del Hollywood Bowl de Los Ángeles, director del Monterey Jazz Festival (dos años) y director del Concord Summer Festival en 1976 y 1977.
