Хотел бы сразу отметить путаницу в контейнерах и форматах у предыдущих отвечающих. MKV (Матрёшка), AVI, MP4 и т.д. - это контейнеры, т.е. способ описания вложенных в медиа-файл потоков видео, аудио и текстовых данных. AVI - это уже раритет, поэтому остаются варианты либо MKV, либо MP4 (более экзотические контейнеры не рассматриваю в силу проблем совместимости, особенно с "железными плеерами" телевизоров, цифровых тюнеров и т.д.)
Теперь о кодеке, который, собственно, и будет сжимать исходный материал. Тут прозвучало предложение использовать несжатый формат типа BMP для покадровой записи, но это глупо, т.к. 1 минута такого видео займет 1,5 гигабайта, а кассета на 240 минут - 360 гигов. Как пользоваться такими файлами - вопрос нетривиальный. Если в дальнейшем предполагается монтаж материала, то можно сохранить видеопоток в формате M-JPEG. Это такая же покадровая запись, только каждый кадр представляет собой JPEG-картинку. Учитывая, что с видеокассеты материал получается крайне низкого качества, то JPEG-сжатие ничего испортить там дополнительно не сможет, а вот размер 1 минуты видео быдет уже не 1,5 гигабайта, а всего 30 мегабайт, т.е. кассета целиком займет около 7 гигов, что вполне приемлемо.
Если монтировать видео не предполагается, то можете использовать любой кодек из семейства MPEG. Чем выше версия, тем лучшим будет качество при том же битрейте. В принципе, можно использовать старый-добрый DivX|XviD-кодек с битрейтом 1000 kbs (это даже избыточно), или более продвинутый H.264 (тут за глаза хватит 700 kbs). Для кодирования аудио-потока лучше использовать стерео вариант AC3, либо AAC (первый предпочтительнее из-за большей распространенности). Кодировать в MP3 нежелательно из-за проблем с синхронизацией, особенно при переменном битрейте. За глаза хватит битрейта 192 kbs.
