Ламеры качеством видео обзывают разрешение изображения (тут, какое кодеру в голову придет), степень сжатия, так называемый "битрейт" - скорость передачи видеоинформации. Ими считается, что чем битрейт и разрешение больше, тем видео качественнее. Однако, что такое качество я указал в начале ответа.
Лучше чем Fraps я не видел, хотя пробовал много, часто пишу видео с реплеев игр. Преимущества в молом потреблении ресурсов и кодеке, который не требует перекодирования при заливке на Youtube. Пусть внешне выглядит не очень гладко, за то дело свое знает.
Ситуация такова, что любая даже самая мощная программа для работы с видео файлами не сможет провести кодировку , не ухудшив хотя бы немного качество изображения. И уж тем более если речь идет о таком формате как flv.