Суммируя все вышесказанное:
1. Записывать файлы в Application Data ненадежно -- во-первых, под Win95 такой папки вообще нет, а во-вторых, т.к. такая папка есть у каждого пользователя, то при денисталляции файлы оттуда не удалятся (точнее удалятся из Application Data только текущего пользователя). Резюмируя: при деинсталляции точно такая же проблема, как и с реестром.
2. Записывать файлы с именами пользователей в Program Files ненадежно. В системах NT у пользователя может не быть прав на изменение этой папки.
3. Записывать файлы в Системный Реестр ненадежно -- пре деинсталляции удалятся только настройки текущего пользователя, а не всех, у кого они были созданы.
Добавлю, что хотя и можно "пробежать" все папки Application Data всех пользователей (как и все ключи реестра) при деинсталляции, но это опять же ненадежно -- в системах NT у пользователя можен не быть прав на изменение папки Application Data (участков реестра) других пользователей.
 
Из этого получается, что использовать ключи в реестре -- "наименьшее зло". Во-первых, реестр есть *везде* и раздел пользователя доступен для изменения *всегда*.
"И что делать с "потерянными" ключами в реестре?" А ничего. Уже 7 лет существует эта проблема, и решить ее всего одним движением нельзя. Все уже привыкли, что программа деинсталляции может оставить ключи в реестре. К тому же, большинство пользователей это не заботит. А кого заботит, тот не полагается на милость стандартного деинсталлятора, а использует сторонние программы-деинсталляторы. К тому же, большинство пользователей работают на своей машине одни (программа-то "Домашние финансы"), а в таких условиях проблем с удалением из реестра не будет.
 
Dervish: Такое решение, пожалуй, самое простое для меня.