Все зависит от конфигурации файрволла. По стандарту tcp, если сервер получает от клиента запрос на соединение (SYN) по какому-либо порту, по которому сервер не "слушает", сервер должен послать в ответ пакет RST. Если между клиентом ( в твоем случае nmap ) и сервером есть файрволл, фильтрующий порты просто не принимая пакеты на этот порт и не посылающий никаких ответов обратно, то клиент не получит ни SYN/ACK ни RST и connect() вернется по тайм-ауту. Вот в этом случае nmap покажет порт как filtered. Если RST получен, то порт считается unfiltered ( nmap их показывает только в случае, если в системе обнаружено кроме того много filtered портов; см. man nmap ). Если получен SYN/ACK, то ,очевидно, порт считается open.
Но никто не мешает сконфигурить файрвалл так, чтобы он вместо того, чтобы просто дискардить пакеты ( discard packets ), посылал бы в ответ RST для того, чтобы затруднить жизнь сканирующему.