В основах поиска уязвимостей - знание типов уязвимостей и методов их поиска. В вышеуказанной книге сделан акцент на методах их эксплуатации. Обычно для поиска уязвимостей в сетевом ПО с закрытым исходным кодом исследуют протокол взаимодействия клиентской и серверной части. После того, как протокол изучен, формируют левые данные. Так например для полей данных, означающих длину блока данных или их (блоков) кол-во в пакете, подсовывают граничные значения (типа 0xff, 0x80, 0xffff в зависимости от размерности(типа) поля). Для автоматизации поиска используют fuzzing-средства (см. beStorm и самопальные тулзы), которые по определенным правилам формируют пакеты данных и травят их программе. Учтите, что данная автоматизация всего лишь дает в лучшем случае аварийное завершение процесса. Естественно, исследователь должен быть адекватным в машинных кодах (ассемблер), чтобы исследовать аспекты аварии. Иначе, как он сможет определить, является ли бага DoS-ом или ведет к удаленному выполнению кода??
Существуют способы для сужения границ поиска невалидного кода в бинарнике, так называемый "поиск кандидатов"(например команда MOVSX, которая присутствует практически всегда, когда используется преобразование типов программистом), которая всегда должна притягивать внимание кодокопателя.
Вобщем, читайте о преобразованииях типов в ЯП и их неправильном использовании при написании программ.
Для примера напишите своего клиента и сервера, поиграйтесь с ним.
Нужно знать аспекты работы высокоуровневых языков с типами данных и их явным и неявным преобразованием. К примеру "С" не поддерживает проверку переполнения значения.
Помимо того, вы должны знать способы эксплуатации уязвимости на конкретной ОС (например затирание обработчика в SEH).