Nació el 3 de mayo de 1933, en una granja en Barnwell, Carolina del Sur, en el seno de de una familia pobre de un barrio marginal. Esto le obligó a desempeñar desde la adolescencia (15 años) todo tipo de trabajos. Abandonado por su madre, Brown creció con su padre, un trabajador itinerante, hasta que terminó en Augusta (Georgia), donde una tía regentaba una fonda que también funcionaba como timba y prostíbulo. Sin apenas educación, el niño Brown procuró ganarse la vida limpiando zapatos, recogiendo algodón y robando piezas de coches. Antes de cumplir los veinte años ya había sido detenido por robo a mano armada y fue condenado por ellos a cumplir entre 8 y 16 años de cárcel (según él, todavía era un menor pero le encerraron y le juzgaron cuando llegó a la edad penal). Fue un buen preso y, tras tres años y un día, le soltaron y estuvo más de tres años en un reformatorio. Fue entonces cuando le acogió la familia de Bobby Byrd, el cantante que le lanzó al estrellato. Compartieron escenarios en el grupo The Flamous Flames.
James Brown - I Feel Good
