Любой камерой у которого качество FULL HD, хорошо бы еще чтобы матрица была побольше, самый дешевый способ это фотокамеры которые снимают видео с разрешением FULL HD. Мои видео сняты с использованием ультразум фотоаппарата Fudjifilm посмотреть видео можно здесь
Ну а для любительского уровня вполне подойдет видеокамера Panasonic HC-V770EE-K, от него можно отталкиваться в профессиональную сторону и на качества ниже
Ситуация такова, что любая даже самая мощная программа для работы с видео файлами не сможет провести кодировку , не ухудшив хотя бы немного качество изображения. И уж тем более если речь идет о таком формате как flv.
Обычно для того что-бы сменить формат, масштаб или качество видео в хостинге типа twitch достаточно просто зайти в настройки видео и там выбрать те параметры которые будут удобны для вас, настройки находятся в углу под значком шестеренки.
Качество видео зависит напрямую от возможностей камеры. Мегапиксели, как правило, указываются при съемке фото. В видеосъемке используются другие показатели. Чтобы снимать максимально качественные ролики для Youtube нужно покупать камеру, у которой будет доступно разрешение съемки видео Full HD, либо 1080i, 1080p (разрешение: 1920x1080). Также качественное видео можно делать и съемкой обычного HD-видео (помечается, как правило, 720p, 720i и имеет разрешение 1280x720), но, как видно, из разрешения - оно значительно ниже, чем у Full HD, а, значит, и качество будет хуже. Поэтому при выборе камеры советую брать ту, где есть возможность съемки именно в Full HD.
Лучше чем Fraps я не видел, хотя пробовал много, часто пишу видео с реплеев игр. Преимущества в молом потреблении ресурсов и кодеке, который не требует перекодирования при заливке на Youtube. Пусть внешне выглядит не очень гладко, за то дело свое знает.