Уважаемый не вводите народ в заблуждение. В настоящее время не допускаются подобные 11111111.11111111.11111111.11110010 или 11111111.11111111.11100001.00000000  маски. При определении маски не допустимы ситуации, когда нули чередуются с единицами, тоесть здесь 11110010 единица должна быть заменена на ноль. Не БЫВАЕТ подсети для 12 IP, есть подсеть на 8 IP и на 16 IP, в которых соответсвенно можно использовать 6 или 14 IP для хостов.

при определении находится ли хост в той же подсети: с 2-мя IP адресами  (IP1 и IP2) и маской (MASK) делается следующее
IP1
XOR
IP2
AND
MASK
Если в результате получится 0 - то хосты в одной подсети. Реальный пример
IP1 192.168.2.3
IP2 192.168.2.17
MASK 255.255.255.240

11000000.10101000.00000010.00010001
XOR
11000000.10101000.00000010.00000011
=
00000000.00000000.00000000.00010010
AND
11111111.11111111.11111111.11110000
=
00000000.00000000.00000000.00010000
Хосты в разных подсетях.

IP1 192.168.2.3
IP2 192.168.2.11
MASK 255.255.255.240

11000000.10101000.00000010.00001011
XOR
11000000.10101000.00000010.00000011
=
00000000.00000000.00000000.00001000
AND
11111111.11111111.11111111.11110000
=
00000000.00000000.00000000.00000000
Хосты в одной подсети.
Представьте насколько сложно человеку оперировать с определением того, принадлежит ли хост с IP
IP1 192.168.2.3
той же подсети что c IP
IP2 192.168.2.11
В случае с маской
MASK 255.255.255.242
и Вы поймете, почему не допускаются подобные маски.

Кстати, они при таких настройках в одной подсети или нет?

Смешно, уважаемый   .
192.168.100.12/26
192.168.100.37/27
Какой бродкаст? У обоих - 192.168.100.63, однако не говорите, что 192.168.100.12 принадлежит подсети 192.168.100.37/27. Если Вы не знаете, то сообщу, что маска подсети хоста в пакетах данных не передается.

На счет хитрых локалок, я - вообще не признаю хитрых локалок . Не понимаю в чем смысл запутывания? Кидисов глумить?
На счет бывает ли подсеть из 12 IP, то, если вы еще раз рассмотрите процесс определения принадлежности хостов одной подсети, любезно представленный мной в предудущем посте, то сразу поймете, что маской 242 определили подсеть на 8 IP адресов.
Пояснить?
Например, 192.168.1.4/255.255.255.242 описывает подсеть в которую входят:

192.168.1.0 - SUBNET ID
192.168.1.1 - HOST
192.168.1.4 - HOST
192.168.1.5 - HOST
192.168.1.8 - HOST
192.168.1.9 - HOST
192.168.1.12 - HOST
192.168.1.13 - Direct Broadcast.
Сколько адресов? - 8
Сколько под хосты? - 6.
Где подсеть на 12 IP? Опишите  8)

А при том же. Скажите, систему DNS разработали для чего? для компьютеров или для удобства? Зачем извращаться теряя в удобстве, если в результате ничего не выигрывается?

Еще раз, такие методы - простое глумление над кидисами и они весьма не эфективны, но добавляют всем гемороя.

Кстати,  RFC 950
Для определения нахождения хостов рекомендует следующее
IF bitwise_and(dg.ip_dest, my_ip_mask)  = bitwise_and(my_ip_addr, my_ip_mask)
            THEN
                send_dg_locally(dg, dg.ip_dest)
            ELSE
                send_dg_locally(dg, gateway_to(bitwise_and(dg.ip_dest, my_ip_mask)
То, что я описал, дает тот же результат, только тут 2 AND и одно сравнение, у меня 1 AND, 1 XOR и одно сравнение. Эффективность - одинакова. Только у меня не надо запоминать в отдельном регистре результаты 2-х AND, чтобы потом их сравнить. Учите булеву математику  

Господа, не ведитесь на пост ak_, при всем моем к нему уважении,  он, в данном конкретном случае - не прав.