Soldier of Fortune II se déroule dans des environnements variés (jungle de Colombie, montagnes enneigées à Kamtchatka, aéroport en Suisse,...). Le jeu laisse à chaque changement de lieux le choix de son équipement. Le jeu propose d'ailleurs un nombre de grenades rarement vu dans un jeu vidéo.

Le jeu suit une nouvelle fois John Mullins au service du Magasin. Après une mission en FlashBack qui l'emmêne à Prague pour faire passer le docteur Ivanovich à l'Ouest, la trame commence 10 ans plus tard: le Magasin contacte John Mullins pour le faire enquêter sur une attaque virale sur un petit village dans la jungle colombienne. Il faudra ensuite s'infiltrer dans le manoir d'un trafiquant d'armes de la région pour en apprendre plus. Il faudra ensuite saborder un navire transportant une grande cargaison du virus Romulus, puis la découverte d'un second virus nous amènera à Hong-Kong.