Посмотри на
ACTC - The Triangle Consolidator и вообще
Brad Grantham's Home Page . Я его старый алгоритм пользовал когда-то - есть, конечно, проблемы, но ускорение реально до 2.5 раз (особенно если изображение не слишком пестрое).
Еще на nVIDIA'вском сайте где-то есть (точнее сказать не могу - внутри архива указаний нет, но могу выслать, если что). Но его я не пробовал, тем более он работает на входе с .М-файлами (MatLab?), а на выходе вообще собственный бинарный (первая прога работает с obj/objf). Впрочем, это важно только для конвертации файлов, а т.к. оба с исходниками, то алгоритм можно вытащить...