צבי אבני נולד בסארבריקן שבגרמניה ב-1927. ב-1935, ארבעה חודשים לאחר שחבל הסאר נכבש על ידי גרמניה תחת הנאצים, הוא עלה ארצה יחד עם הוריו.

התעניינותו במוסיקה החלה להתפתח בתקופה זו, אבל נסיבות חייו לא אפשרו לחינוך מוסיקלי להתקיים באופן המסורתי. הוא לימד את עצמו לנגן במפוחית, מנדולינה וחלילית. הוא החל להלחין קטעים קצרים לכלים אלה, וללא כל ידע בקריאת תווים, המציא שיטה משלו לכתיבת מוסיקה.

בנוסף לעיסוקיו המוסיקליים, אבני החל בתקופה זו לצייר את סביבתו, ופיתח עניין עמוק באמנות, שהתחברה עם המוסיקה. רבות מיצירותיו נכתבו בהשראת יצירות של אמני המאה ה-20.

ב-1943 החל ללמוד פסנתר ותיאוריה של המוסיקה. בין מוריו היו הפסנתרן פרנק פלג והמלחין אבל ארליך. במקביל עם שירותו בחיל הים, הוא המשיך את לימודיו באקדמיה למוסיקה בתל אביב בהדרכתו של ארליך. לאחר מכן, למד אצל פאול בן-חיים ומרדכי סתר, שבהדרכתו סיים את לימודיו באקדמיה למוסיקה בתל אביב ב-1958.

בשנים אלה אבני עבד למחייתו כמורה למוסיקה בבתי ספר יסודיים ותיכונים. הוא ניהל את הקונסרבטוריון העירוני בלוד ולאחר מכן מונה למנהל הספרייה המרכזית למוסיקה בתל אביב. במשך 15 שנים הוא היה העורך של הירחון של הנוער המוסיקלי "גתית" וכן הפך למנהל השלוחה הישראלית של ארגון הנוער המוסיקלי ב-1993, תפקיד בו הוא משמש עד היום.

ב-1949 נישא לפנינה גרודנאי, זמרת ומשוררת. ב-1961 הלחין אחד משיריה, "שאני במחול", והשיר זכה בפסטיבל הזמר העברי של אותה שנה. פנינה נפטרה מסרטן ב-1973.

בשנות החמישים החלו לראות אור יצירותיו הראשונות של צבי אבני בישראל. ב-1962 נסע עם רעייתו לארה"ב למטרות השתלמות, ובהמלצתו של אדגר וארז החל ללמוד מוסיקה אלקטרונית באוניברסיטת קולומביה בהדרכתו של ולדימיר אוסצ'בסקי. בקיץ 1963 השתתף בסדנת המוסיקה בטנגלווד, ולמד קומפוזיציה אצל אהרון קופלנד ולוקאס פוס.

מ-1971 עד 2015 שימש אבני כמרצה לתיאוריה וקומפוזיציה באקדמיה למוסיקה ומחול בירושלים. הוא הקים וניהל את הסטודיו למוסיקה אלקטרונית של האקדמיה, ומונה לפרופסור לתיאוריה וקומפוזיציה ב-1976.

ב-1979 נישא לחנה ידור, עיתונאית ומתרגמת שהפכה לכתבת מוסיקה ותרבות בעיתון "מעריב". נולדו להם שני ילדים, שירן ואילון. צבי וחנה שיתפו פעולה בכתיבת היצירה "תעלומת המפלצת המשולשת", אגדה מוסיקלית מאת חנה שמפגישה באמצעות סיפור חביב בין המאזינים הצעירים לכלי התזמורת.

בשנים 1993-1995 שהה אבני בשבתון בארה"ב עם משפחתו, שם שימש כמרצה אורח באוניברסיטת נורת'איסטרן ובקווינס קולג', ניו יורק.

רעייתו חנה נפטרה ב-2005. מאז 2017 הוא נשוי לדבורה פינקלשטיין.

פרסים רבים הוענקו למוסיקה של צבי אבני. ב-1966 זכתה יצירתו "הרהורים על דרמה" בפרס אקו"ם, ולאחר מכן בוצעה על-ידי תזמורות רבות ארץ ובחו"ל. ב-1973 הוענק לאבני פרס אנגל של עיריית תל אביב על יצירתו "דימויים ליום חג". הסונטה מס' 2 שלו לפסנתר, "אפיטף", זכתה בפרס אקו"ם לפרסום בשנת 1981. ב-1986 קיבל את פרס אקו"ם למפעל חיים, וב-1998 את פרס ראש הממשלה למלחינים. הוא זכה גם בפרס קיסטרמאייר של אגודת הידידות ישראל-גרמניה ב-1990 ובפרס התרבות של מדינת סאארלנד בגרמניה ב-1998. ב-2001 הוענק לאבני פרס ישראל. ב-2015 קיבל את פרס "אמת".

יצירותיו המוקדמות של אבני עמדו בסימן התקופה "הים-תיכוניות" ששלטה אז בחיי המוסיקה האמנותית בישראל, תוך הדגשת ריתמוסים של מחול ואלמנטים טונאליים-מודאליים בתחום המלודיה וההרמוניה. בראשית שנות השישים ניכרת התפתחות יותר רדיקאלית לכיוון הצליל המופשט, בהשפעת עיסוקו במוסיקה האלקטרונית ובהתקרבות לזרמים יותר חדישים לרגל שהותו בארצות הברית בשנים 1962-64. החל מאמצע שנות השבעים ניכרת אצלו התקרבות מחודשת לאלמנטים יותר טונאליים. רבות מיצירותיו עוסקות באמנות החזותית בעקבות יחסו המיוחד לאמנות הציור. יש הרואים במוסיקה המאוחרת שלו גם אלמנטים בעלי אופי יהודי מזרחי ואירופי.