Его обвинили в «антисоветской заговорщической террористической деятельности» и шпионаже. При аресте у него изъяли несколько рукописей, которые оказались навсегда утраченными.
На допросах Бабеля подвергали пыткам. Его вынудили признать связь с троцкистами, а также их «тлетворное влияние» на своё творчество. Кроме того, автор «Конармии» и цикла о Бене Крике «подтвердил», что он намеренно искажал действительность, умалял роль партии, «шпионил» в пользу Франции и вёл «антисоветские разговоры» среди других литераторов, артистов и кинорежиссёров.
Бабель был приговорён к высшей мере наказания и расстрелян 27 января 1940 года.
