Kapsama numarası - Covering number

Matematikte bir kaplama numarası küresel sayısı toplar belirli bir alanı olası örtüşmelerle tamamen kaplamak için gereken boyutta. İlgili iki kavram şunlardır: ambalaj numarası, bir boşluğa sığan ayrık topların sayısı ve metrik entropi, bir sabit minimum mesafede uzanmak üzere sınırlandırıldığında bir boşluğa sığan noktaların sayısı.

Tanım

İzin Vermek (M, d) olmak metrik uzay, İzin Vermek K alt kümesi olmak Mve izin ver r olumlu ol gerçek Numara. İzin Vermek B_r(x) belirtmek top yarıçap r merkezli x. Bir alt küme C nın-nin M bir r-dış kaplama nın-nin K Eğer:

{displaystyle Ksubseteq fincan _ {xin C} B_ {r} (x)}

.

Başka bir deyişle, her biri için ${displaystyle yin K}$ var ${displaystyle xin C}$ öyle ki ${displaystyle d (x, y) leq r}$ .

Eğer dahası C alt kümesidir Ko zaman o bir r-iç kaplama.

dış kaplama numarası nın-nin K, belirtilen ${displaystyle N_ {r} ^ {ext {ext}} (K)}$ , herhangi bir dış kaplamanın minimum önemidir. K. iç kaplama numarası, belirtilen ${displaystyle N_ {r} ^ {ext {int}} (K)}$ , herhangi bir iç kaplamanın minimum önemidir.

Bir alt küme P nın-nin K bir paketleme Eğer ${displaystyle Psubseteq K}$ ve set ${displaystyle {B_ {r} (x)} _ {xin P}}$ dır-dir ikili ayrık. ambalaj numarası nın-nin K, belirtilen ${displaystyle N_ {r} ^ {ext {paket}} (K)}$ , herhangi bir paketin maksimum önemidir K.

Bir alt küme S nın-nin K dır-dir r-ayrılmış eğer her çift nokta x ve y içinde S tatmin eder d(x, y) ≥ r. metrik entropi nın-nin K, belirtilen ${displaystyle N_ {r} ^ {ext {met}} (K)}$ , herhangi birinin maksimum kardinalitesidir r-farklı altküme K.

Örnekler

1. Metrik uzay gerçek çizgidir ${displaystyle mathbb {R}}$ . ${displaystyle Ksubset mathbb {R}}$ mutlak değeri en fazla olan gerçek sayılar kümesidir ${displaystyle k}$ . Ardından, dış kaplaması vardır. ${displaystyle lceil 2k / rceil}$ uzunluk aralıkları ${displaystyle r}$ , aralığı kapsayan ${displaystyle [k, -k]}$ . Dolayısıyla:

{displaystyle N_ {r} ^ {ext {ext}} (K) leq (2k / r)}

2. Metrik uzay Öklid uzayı ${displaystyle mathbb {R} ^ {m}}$ ile Öklid metriği. ${displaystyle Ksubset mathbb {R} ^ {m}}$ uzunluğu (normu) en fazla olan vektörler kümesidir ${displaystyle k}$ .Eğer ${displaystyle K}$ yatıyor dboyutsal alt uzay ${displaystyle mathbb {R} ^ {m}}$ , sonra:^[1]^:337

{displaystyle N_ {r} ^ {ext {ext}} (K) leq (2k {sqrt {d}} / r) ^ {d}}

.

3. Metrik uzay, gerçek değerli fonksiyonların alanıdır. l-sonsuz metrik. kaplama numarası ${displaystyle N_ {r} ^ {ext {int}} (K)}$ en küçük sayıdır ${displaystyle k}$ öyle ki var ${displaystyle h_ {1}, ldots, h_ {k} K’de}$ öyle ki herkes için ${displaystyle hin K}$ var ${displaystyle iin {1, ldots, k}}$ öyle ki arasındaki supremum mesafesi ${displaystyle h}$ ve ${displaystyle h_ {i}}$ en fazla ${displaystyle r}$ Yukarıdaki sınır, boşluk olduğu için alakalı değildir. ${displaystyle infty}$ boyutlu. ancak, ne zaman ${displaystyle K}$ bir kompakt küme her kaplamasının sonlu bir alt kaplaması vardır, bu nedenle ${displaystyle N_ {r} ^ {ext {int}} (K)}$ sonludur.^[2]^:61

Özellikleri

1. İç ve dış kaplama numaraları, paketleme numarası ve metrik entropi birbiriyle yakından ilişkilidir. Aşağıdaki eşitsizlikler zinciri herhangi bir alt küme için geçerlidir K bir metrik uzay ve herhangi bir pozitif gerçek sayı r.^[3]

{displaystyle N_ {2r} ^ {ext {met}} (K) leq N_ {r} ^ {ext {paket}} (K) leq N_ {r} ^ {ext {ext}} (K) leq N_ {r } ^ {ext {int}} (K) leq N_ {r} ^ {ext {met}} (K)}

2. İç kaplama sayısı dışındaki her işlev, r ve azalmayan K. İç kaplama numarası tekdüzedir r ama ille de değil K.

Aşağıdaki özellikler, standarttaki kaplama numaraları ile ilgilidir Öklid uzayı ${displaystyle mathbb {R} ^ {m}}$ :^[1]^:338

3. Tüm vektörler ${displaystyle K}$ sabit bir vektörle çevrilir ${matematiksel olarak {R} ^ {m}} {0} displaystyle k_$ , daha sonra kapak numarası değişmez.

4. Tüm vektörler ${displaystyle K}$ bir skaler ile çarpılır ${displaystyle kin mathbb {R}}$ , sonra:

hepsi için

{displaystyle r}

:

{displaystyle N_ {| k | cdot r} ^ {ext {ext}} (kcdot K) = N_ {r} ^ {ext {ext}} (K)}

5. Tüm vektörler ${displaystyle K}$ tarafından işletilmektedir Lipschitz işlevi ${displaystyle phi}$ ile Lipschitz sabiti ${displaystyle k}$ , sonra:

hepsi için

{displaystyle r}

:

{displaystyle N_ {| k | cdot r} ^ {ext {ext}} (phi circ K) leq N_ {r} ^ {ext {ext}} (K)}

Makine öğrenimine başvuru

İzin Vermek ${displaystyle K}$ ile gerçek değerli işlevlerin alanı olun l-sonsuz metrik (yukarıdaki örnek 3'e bakın). içindeki tüm işlevleri varsayalım. ${displaystyle K}$ gerçek bir sabitle sınırlıdır ${displaystyle M}$ Daha sonra, kapak numarası, numarayı sınırlamak için kullanılabilir. genelleme hatası öğrenme fonksiyonları ${displaystyle K}$ , kayıp karesine göre:^[2]^:61

{displaystyle mathrm {Prob} {ig [} sup _ {hin K} | {ext {GeneralizationError}} (h) - {ext {EmpiricalError}} (h) | geq epsilon {ig]} leq N_ {r} ^ { ext {int}} (K) cdot 2exp {-mepsilon ^ {2} 2 milyondan fazla ^ {4}}}

nerede

{displaystyle r = {epsilon 8 milyondan fazla}}

ve

{displaystyle m}

örnek sayısıdır.

Ayrıca bakınız

Referanslar

^ ^a ^b Şalev-Şwartz, Şai; Ben-David, Shai (2014). Teoriden Algoritmalara Makine Öğrenimini Anlamak. Cambridge University Press. ISBN 9781107057135.
^ ^a ^b Mohri, Mehryar; Rostamizadeh, Afshin; Talwalkar Ameet (2012). Makine Öğreniminin Temelleri. ABD, Massachusetts: MIT Press. ISBN 9780262018258.
^ Tao, Terrance. "Toplam küme teorisinin metrik entropi analogları". Alındı 2 Haziran 2014.

[book14-1] Şalev-Şwartz, Şai; Ben-David, Shai (2014). Teoriden Algoritmalara Makine Öğrenimini Anlamak. Cambridge University Press. ISBN 9781107057135.

[book12-2] Mohri, Mehryar; Rostamizadeh, Afshin; Talwalkar Ameet (2012). Makine Öğreniminin Temelleri. ABD, Massachusetts: MIT Press. ISBN 9780262018258.

[3] Tao, Terrance. "Toplam küme teorisinin metrik entropi analogları". Alındı 2 Haziran 2014.

[1]

[2]

[3]