Israels groeide op in een muzikaal gezin. Zijn stiefvader, zanger Mordecai Bauman, werkte vaak samen met componist Hanns Eisler en ontving artiesten als Paul Robeson, Pete Seeger en The Weavers. In 1948 maakte Israels kennis met jazz tijdens een concert van Louis Armstrong’s All Stars, georganiseerd door zijn ouders.
Als autodidact bassist studeerde hij later muziek aan Brandeis University en in Parijs, waar hij zijn eerste professionele werk deed met Bud Powell. Hij nam voor het eerst op in 1958 met Cecil Taylor en werkte nadien met onder meer Eric Dolphy, Stan Getz en Coleman Hawkins. Internationale bekendheid kreeg hij als bassist van het Bill Evans Trio (1961–1966), waar hij Scott LaFaro opvolgde.
Later leidde hij het National Jazz Ensemble en werkte hij samen met onder anderen het Kronos Quartet, Rosemary Clooney en het Metropole Orkest. Van 1986 tot 2010 was hij hoofd van de afdeling Jazz Studies aan Western Washington University.
