Kryptosystem – system, którego podstawowym celem jest dokonywanie operacji kryptograficznych. Jest to zbiór współdziałających ze sobą szyfrów, procedur ich użycia, protokołów zapisu danych, urządzeń.
W wąskim ujęciu kryptosystemem możemy nazwać kopertę elektroniczną, czyli współdziałanie dwóch szyfrów, bądź dowolny inny zestaw współdziałających szyfrów. W szerszym ujęciu kryptosystem stanowią wszystkie elementy biorące udział w bezpiecznym przekazaniu wiadomości, takie jak np.:
W ujęciu ściśle matematycznym kryptosystemem nazywamy dowolną piątkę
, gdzie:
Ponadto dla każdego klucza
istnieje reguła szyfrowania
i deszyfrowania
taka, że
oraz
, o następującej własności:
.