大体の問題は、数式か引用文献で発生するので、これらをdiffから除外してあげればよい:

latexdiff old.tex new.tex > diff.tex --exclude-safecmd="cite" --math-markup=0