Действие происходит в шестидесятые годы, во времена «холодной войны», когда одним из главных средств борьбы между двумя враждебными политическими системами был шпионаж. Глава британской резидентуры в Восточном Берлине Алек Лимас после гибели одного из своих главных агентов, члена СЕПГ Карла Римека, отзывается в Лондон, и ему грозит уход на пенсию. Считается, что в борьбе с восточногерманской разведкой, оперативный отдел которой возглавляет Ганс Дитер Мундт, Лимас проиграл, потеряв всех своих лучших агентов.

Однако руководство британской разведки дает Лимасу последний шанс — принять участие в рискованной операции по дискредитации Мундта в глазах правительства ГДР как агента Лондона. Лимаса якобы увольняют на пенсию, и некоторое время он влачит жалкое существование, пьянствует. Лимас знает, что с ним рано или поздно установят контакт люди Мундта, ибо, как бывший разведчик, он обладает ценной информацией, за которую много заплатит иностранная разведка, а Лимас беден. В операцию оказывается втянута и возлюбленная Лимаса, член английской компартии Элизабет Голд.

Люди Мундта связываются с Аимасом и предлагают ему перебраться в Голландию, где он сможет рассказать им все, что знает, и получить крупную сумму денег. В Голландии он встречается с немецким разведчиком Петерсом, который выпытывает у Лимаса все детали агентурной работы. Цель Лимаса — дать такую информацию, которую смог бы использовать в своих целях шеф Мундта Фидлер, ненавидящий своего подчиненного. Для встречи с Фидлером Лимаса в конце концов перебрасывают в ГДР. Лимас дает понять Фидлеру, что у английской разведки есть в этой стране очень ценный агент, с которым Лондон поддерживает контакты напрямую и имени которого не знает сам Лимас. Им вполне может оказаться Мундт, который раньше был резидентом восточногерманской разведки в Лондоне и чудом ускользнул после своего провала, когда на него был объявлен розыск по всей Англии. Этот странный эпизод в его биографии привлекает внимание Фидлера, давно уже собиравшего на Мундта компрометирующие материалы.

Во время бесед с Фидлером возникает вопрос: в чем обе враждующие системы видят оправдание своих действий? Фидлер оправдывает любые преступления тем, что социалистическая система защищается от контрреволюции, что в борьбе за мир и прогресс стопроцентной справедливости быть не может, что разведка — оружие в руках партии и т. д. Ответы Лимаса не столь категоричны, но все же ясно, что цель оправдывает средства, хотя сам Лимас далек от цинизма в отличие от Фидлера. Он уже устал от бесконечной борьбы и хочет вернуться домой в Англию.

Однако Мундт узнает о происках Фидлера и арестовывает его и Лимаса, последний в момент ареста в схватке убивает охранника, и теперь его должны судить по законам ГДР. В тюрьме Лимаса допрашивает Мундт, но в последний момент появляется Фидлер, который представил свои материалы в Президиум Государственного совета и нашел там поддержку. Мундт арестован, и его будет судить назначенный Президиумом трибунал, Фидлер выступит обвинителем, а Лимас — свидетелем обвинения. Защищать Мундта будет известный адвокат Карден, который собирается представить суду никому не известного свидетеля защиты, Этим свидетелем оказывается Элизабет Голд, которая, ничего не подозревая, приезжает в ГДР по приглашению немецких коммунистов. Из её показаний Карден извлекает информацию, свидетельствующую о том, что за Лимасом стоит британская разведка — после исчезновения Лимаса к Элизабет приезжали какие-то люди, она получила неизвестно от кого значительную сумму денег и т. д. Лимас допустил ошибку, связавшись с этой женщиной, — она слишком много знала, ничего при этом не понимая в происходящем. Лимас ввел в заблуждение Фидлера, который пытался опорочить Мундта, честного члена партии, — к такому выводу приходит Карден и весь трибунал, считая, что разоблачены происки западной агентуры. Это признает и Лимас, лишь в последний момент догадывающийся, в чем состоял истинный замысел его шефов во главе со знаменитым Смайли. Мундт оправдан, а Фидлера ждет наказание — именно этого и добивались в Лондоне, ибо Мундт и был тем очень важным агентом, на которого, сам того еще не зная, намекал Фидлеру Лимас. Лимаса же и его возлюбленную использовали в своих целях сначала британская разведка, а потом Фидлер для смещения Мундта и, наконец, судебная машина ГДР якобы для разоблачения происков врага, который на самом деле в лице Мундта выходит сухим из воды и помогает Лимасу и Элизабет бежать из тюрьмы. Однако оба они уже никому не нужны — враждующие системы использовали их, и герои погибают, расстрелянные пограничниками в момент перехода через границу в Западный Берлин. Такова судьба конкретного «маленького» человека, уничтоженного жерновами адской машины «холодной войны».