Il milita dans les rangs trotskystes de 1934 à 1947 ce qui lui valut l’arrestation par la Gestapo et la déportation à Buchenwald et dans plusieurs autres camps d’où il réchappa par miracle. Il raconta par la suite qu’une des raisons de sa survie fut qu’il parvint à cacher son appartenance trotskyste aux détenus staliniens détenant des postes clé dans l’appareil clandestin du camp et que l’un d’entre eux le prit même sous sa protection.
C’est à David Rousset que l’on doit l’expression d’« univers concentrationnaire ». Il intitula ainsi son premier livre sur les camps nazis qui parut en 1946 et fut suivi l’année suivante par son chef d’œuvre : « Les jours de notre mort ». Son ancien compagnon, l’éditeur Maurice Nadeau, affirme que « de ces deux ouvrages où, pour la première fois, afin de rendre compte d’un phénomène général jugé aberrant (qui échappe au jugement moral et à la simple rationalité), sont mises en œuvre une démonstration et une explication marxistes, on peut bien dire qu’ils ne pouvaient être écrits que par un trotskyste. »
Par la suite il est bouleversé par ce qu’il a l’occasion d’apprendre sur les camps soviétiques après la sortie en 1947 du livre de Kravchenko : J’ai choisi la liberté et lors du procès qui l’oppose en mars 1949 au journal para-stalilinien Les lettres françaises.
En novembre de la même année il lance un appel à ses anciens camarades déportés pour organiser en commun une commission d’enquête sur le « Goulag » (terme utilisé pour la première fois en France). Il aura des dizaines de réponses favorables et sera violemment dénoncé par le PCF comme « trotskyste falsificateur ». À son tour il intentera un procès aux Lettres françaises qu’il gagnera en 1951.
Considérant que les prévisions de Trotsky avaient été tenues en échec par la bonne santé apparente du capitalisme aussi bien que du stalinisme au décours de la guerre, il s’était éloigné de la IVe Internationale en 1947. Il y avait connu des polémiques qui témoignaient des difficultés d’avoir à l’époque une position cohérente sur l’URSS, « État ouvrier dégénéré ». En 1945-1946, sous le pseudonyme de Leblanc, il avait défendu l’idée que pour s’insérer « dans un mouvement de masse le plus large possible » il fallait « taire une partie de nos désaccords avec les staliniens », ce qui le fit accuser de vouloir « dissoudre le mouvement au profit du stalinisme ». C’était pourtant de « l’entrisme » avant la lettre.
Après sa dénonciation des camps soviétiques il monta la Commission internationale contre le régime concentrationnaire (CICRC) qui enquêta partout dans le monde (Espagne, Grèce, Algérie, etc.).
Son rapprochement imprévu avec De Gaulle dans les années 60 étonna. La politique algérienne du général l’avait séduit mais bien qu’élu député « gaulliste de gauche », il regimba régulièrement et démissionna de l’UDR gaulliste en novembre 1971 par une lettre au Premier ministre qui se terminait par ces mots révélateurs : « Entre les satisfaits, les prudents, les raisonnables et le camp des fous qui veulent changer le monde, je suis résolument de cette folle sagesse-là. Il est possible évidement que le monde ne change pas. Ce sera tant pis pour lui. »
L’Humanité (journal du PCF) vient de lui consacrer une demi-page rendant hommage à celui qui dénonça le goulag « dès 1949 ». Qui aurait pu l’imaginer à cette époque.
À ses obsèques étaient surtout présents des trotskystes actuels et des trotskystes anciens à vie. En effet la vie de David Rousset, faite de passion et de fidélité à l’idéal généreux de sa jeunesse, témoigne de ce que, contrairement aux anciens staliniens ou maoïstes ayant pris conscience d’avoir menti et dit des inepties pendant leur période militante, il est très rare que les anciens trotskystes repentis passent de l’autre côté de la barricade.