На мой взгляд, самое первое, что нужно сделать, это извиниться. Обычно, сразу после признания и раскаяния становится намного легче, причём как вам, так и тому, перед кем вы провинились. Признание своей вины это уже пол дела, а дальше всё зависит от тяжести проступка.
Если это материальный ущерб, например разбитая любимая вещь, то стоит возместить её, сделать своими руками, или купить новую, или даже отдать свою такую же. Последний жест будет наиболее действенным, как мне кажется.
Ну а если вы обидели кого-то, оскорбили или унизили, и чувствуете свою вину, то после извинений стоит продолжить разговор, сделать так, чтобы как можно меньше недосказанных вещей осталось между вами. Если вы оскорбили человека на публике, то и извиняться придётся при ней же.
Когда я чувствовал свою вину перед девушкой, я делал всё выше сказанное, дарил цветы или сладости, водил её в ресторан и как можно больше времени проводил с ней. Ну а вину перед парнем, другом, я заглаживал объяснением своего поступка, извинением и крепким мужским рукопожатием.