Weg van het veld en de camera’s, werd Brown in 1965 gearresteerd voor mishandeling waarbij een 18-jarige genaamd Brenda Ayres betrokken was. Hoewel hij werd vrijgesproken van de aanklacht, klaagde Ayres later Brown aan voor het vaderschap van zijn kind. Brown was destijds getrouwd met Sue Jones, met wie hij drie kinderen kreeg, waaronder een tweeling. In 1968 zou Brown model Eva Bohn-Chin van het balkon op de tweede verdieping van haar appartement hebben gegooid. De aanklachten werden afgewezen vanwege het gebrek aan samenwerking van Bohn-Chin met de aanklager, maar de reputatie bleef. In 1973 deed Brown, 37, een 18-jarige student ten huwelijk. Ze beëindigden hun verloving het volgende jaar. Bij verschillende incidenten in de jaren zeventig en tachtig werd Brown beschuldigd van mishandeling van zowel mannen als vrouwen en, in 1985, verkrachting (later ontslagen). Ondanks dat de meeste van deze vermeende overtredingen op papier of door technische details zijn vrijgesproken, is het moeilijker geworden om onderscheid te maken tussen Browns canvas en publieke persoonlijkheid. Al die tijd hield hij vol dat hij onschuldig was.
In de uitgave van 11 november 1968 van New York tijdschrift schreef Gloria Steinem dat Jim Brown, die ze in haar titel “The Black John Wayne” noemde, was “… John Wayne, of misschien John Wayne met slechts een vleugje Malcolm X.” In 1967 was Brown gastheer van een kleine groep zwarte atleten op The Cleveland Summit, een bijeenkomst in de zomer van 1967 waar mannen bijeenkwamen om Muhammad Ali te horen over zijn verzet tegen dienstneming en dienen in het Amerikaanse leger tijdens de oorlog in Vietnam. In 1968 won Brown zijn eerste hoofdrol, in “The Split”, een kappertjesfilm over het beroven van het Los Angeles Coliseum. Diahann Carroll speelde een gastrol als Brown’s ex. Brown speelde mee in 1968’s “Ice Station Zebra”, een thriller die zich afspeelt in het noordpoolgebied met in de hoofdrol Ernest Borgnine en Rock Hudson. Brown speelde “Captain Leslie Anders”, een no-nonsense autoriteitsfiguur die, net als in “Rio Conchos” en “The Dirty Dozen”, wordt vermoord.
In 1969 speelde hij in “Riot” (een gevangenisfilm) en met Welch in de sexy “100 Rifles” (nog een western). De regisseurs hebben wijselijk niet geprobeerd Brown te presenteren als het waardige archetype dat Poitier ooit was. De ‘interraciale’ liefdesrelatie met het personage van Welch was voor die tijd controversieel, deels vanwege de gewelddadige ondertoon (de posterkunst van de film repliceert de lichaamsbouw van Brown en Welch).
Na een paar matige filmreleases in 1970, hielp Brown Blaxploitation inluiden in 1972’s “Slaughter” en “Black Gunn”, beide hoofdrollen. Tegen die tijd hadden filmfans ‘Shaft’ uit 1971 gezien, met een gewapende, hardnekkige en liefhebbende zwarte privédetective. De wildgroei aan dergelijke tarieven hielp Brown zijn stuurhut te vinden; de ironische toon van deze stick-it-to-man-voertuigen liet de vrije loop in budgetproducties waar hun beperkte expressiebereik en nuances geen factor waren. Naarmate studio’s de zwarte actiemarkt verlieten en bioscoopbezoekers de stereotypen en voorspelbaarheid van het genre ontgroeiden, nam Browns fortuin in films af. In de jaren tachtig wijdde hij zijn inspanningen aan het beëindigen van bendeoorlogen via zijn in Zuid-Californië gevestigde stichting Amer-I-Can. De jonge leden van de “club”, van wie velen getuige waren van de meedogenloze rollen van Brown, respecteerden de acteur en voormalige atleet omdat ze hen respecteerden en de tijd namen om hun leven te begrijpen.