Блин, ну наверна, если бы была метода или лекции, я бы не задавал этот вопрос....
Все, что мне было доступно - я уже пересмотрел.. ничего по этому вопросу не нашёл....
Я конечно и сам продолжаю искать и пытаться разобраться, просто думал здесь умные люди сидят, так подскажут... Срочно надо....

Я вот что не понимаю:
в тех комментариях X - это наверное блок текста... если его возводят в степень, следовательно это число.. значит это число, зависимое от блока текста(например сумма кодов символов).
Какой величины должны быть блоки?
аi - любые числа. Это значит, надо просто придумать свой алгоритм составления последовательности ai и брать их из этой последовательности???
p и ni - подобрать. Как их подбирать??? Так, чтобы увеличить криптостойкость функции наверное... Подскажите как оценить стойкость....
mod p - это значит надо откинуть часть, кратную p???

Наверное, это код символа (ASCII или просто номер в алфавите - не суть важно),вот только насчет связи этих байт...
Если честно, я в хэш-функциях не очень, но по-моему где-то в формуле ошибка... По-идее она должна быть рекурсивной, либо у должны быть Xi...

В любом случае, я бы на твоем месте посмотрел на алгоритмыизвесных хеш-функций (SHA, ГОСТ 34...забыл дальше и др.) может чего по аналогии и получится...

Насчет ai - мне кажется надо их просто взять один раз и такими и оставить (не генерить каждый раз новые. Это должны быть конст.)

Вообще-то поздно уже, но я в таких случаях тереблю тех, кто уже сделал лабу - ты ведь не один в группе учишься, да и не все на лекциях ушами хлопают  

Пардон а разве хэш обратим? не считая коллизий и подбора.