Yapay zekâ sürümlerinin gidişatıHow the AI improved, version by version
Aynı 1000 fotoğraf (888 hasarlı + 112 sağlam araç) ve 336 sağlam yakın çekim üzerinde, aynı ölçüm koduyla. Çizgiler: yukarı iyi (düz), aşağı iyi (kesikli).Same 1000 photos (888 damaged + 112 intact cars) plus 336 intact close-ups, same scoring code. Solid lines: higher is better; dashed: lower is better.
v1.0 ve v1.2.2 (CarDD modeli) yakın çekim setinde çalıştırılmadı, bu yüzden kırmızı çizgi v1.3 ile başlar. v2.0 değerleri gruplu 5 kat × 5 tohum çapraz doğrulamanın ortalamasıdır (eşikler yalnızca eğitim katlarında seçildi).v1.0 and v1.2.2 (CarDD model) were not run on the close-up set, so the red line starts at v1.3. v2.0 values are the mean of grouped 5-fold × 5-seed cross-validation (thresholds chosen inside the training folds only).
| SürümVersion | TarihDate | DeğişiklikChange | F1 | YakalamaRecall | YA bütünFA whole | YA yakınFA close-up |
|---|---|---|---|---|---|---|
| v1.0 | 2026-10-14 | CarDD YOLO11 (int8), eşik 0,25CarDD YOLO11 (int8), threshold 0.25 | 0.524 | 82.0% | 41.1% | – |
| v1.2.2 | 2026-10-16 | + lamba/lastik alt sınırı 0,60+ lamp/tyre floor 0.60 | 0.524 | 79.7% | 27.7% | – |
| v1.3 | 2026-10-16 | Sağlam araçlarla eğitilmiş YOLO11m + parça onayıIntact-trained YOLO11m + part confirmation | 0.588 | 86.4% | 20.5% | 40.2% |
| v2.0 | 2026-10-17 | Kalibre karar katmanı + kalite kapısı (hızlı mod)Calibrated decision layer + quality gate (fast mode) | 0.623 | 84.8% | 16.1% | 31.1% |
| v2.0 ⊕ | 2026-10-17 | Dikkatli mod (aynalı 2. geçiş)Careful mode (mirrored 2nd pass) | 0.626 | 84.5% | 14.8% | 25.4% |
Test 1 · Ana karşılaştırma (çapraz doğrulama)Test 1 · Main comparison (cross-validation)
Yanlış-alarm bütçesi, karar katmanının sağlam fotoğraflarda (bütün + yakın çekim birlikte) izin verilen yanlış alarm oranıdır. Kalın satırlar yayındaki ayarlardır: hızlı mod (bütçe %25) ve dikkatli mod (aynalı TTA, bütçe %20).The false-alarm budget is the share of intact photos (whole + close-up pooled) the decision layer may flag. Bold rows are the shipped settings: fast mode (budget 25%) and careful mode (flip TTA, budget 20%).
| Sürüm / ayarVersion / setting | Tür F1Type F1 | Hasar yakalamaDamage recall | Yanlış alarm · bütün araçFalse alarm · whole car | Yanlış alarm · yakın çekimFalse alarm · close-up | AUROC |
|---|---|---|---|---|---|
| v1.3 (önceki, yayındaki kural)v1.3 (previous shipped rule) | 0.588 | 86.4% | 20.5% | 40.2% | 0.842 |
| v2 birleştirici, zor negatifsizv2 stacker, no hard negatives | 0.633 ±0.003 | 88.8% | 22.3% | 41.4% | 0.859 |
| v2 + zor negatif, bütçe %10v2 + hard negatives, budget 10% | 0.600 ±0.004 | 72.8% | 7.5% | 13.9% | 0.873 |
| v2 + zor negatif, bütçe %15v2 + hard negatives, budget 15% | 0.611 ±0.003 | 79.2% | 9.1% | 20.9% | 0.873 |
| v2 + zor negatif, bütçe %20v2 + hard negatives, budget 20% | 0.620 ±0.004 | 82.2% | 11.8% | 25.5% | 0.873 |
| v2 + zor negatif, bütçe %25v2 + hard negatives, budget 25% | 0.623 ±0.003 | 84.8% | 16.1% | 31.1% | 0.873 |
| v2 + zor negatif, bütçe %30v2 + hard negatives, budget 30% | 0.624 ±0.004 | 87.0% | 19.8% | 36.7% | 0.873 |
| v2 + zor negatif + aynalı TTA, bütçe %15v2 + hard negatives + flip TTA, budget 15% | 0.617 ±0.004 | 80.9% | 10.4% | 20.1% | 0.889 |
| v2 + zor negatif + aynalı TTA, bütçe %20v2 + hard negatives + flip TTA, budget 20% | 0.626 ±0.005 | 84.5% | 14.8% | 25.4% | 0.889 |
| v2 + zor negatif + aynalı TTA, bütçe %25v2 + hard negatives + flip TTA, budget 25% | 0.628 ±0.004 | 86.7% | 19.5% | 30.0% | 0.889 |
Test 2 · Hasar türüne göre F1Test 2 · F1 per damage type
Çatlak her yerde en zor sınıf (CarDD makalesinde de AP 29,6). Hızlı mod dört türün dördünde de v1.3'ten iyi; dikkatli mod camda eşit, göçükte en iyi.Crack is the hardest class everywhere (AP 29.6 in the CarDD paper too). Fast mode beats v1.3 on all four types; careful mode is level on glass and best on dents.
Test 3 · Güvenlik: kırık lamba ve patlak lastikTest 3 · Safety: broken lamps and flat tyres
| GrupGroup | n | v1.3 | v2.0 |
|---|---|---|---|
| Kırık lamba bulunduBroken lamp found | 40 | 35 | 35 |
| Patlak lastik bulunduFlat tyre found | 4 | 3 | 3 |
| Herhangi bir hasar görüldüAny damage seen | 44 | 44 | 44 |
Çekici kararını etkileyen lamba/lastik bulguları (skor ≥ 0,60) karar kapısını atlar, böylece v2 bunları asla bastırmaz. Dikkat: bu 44 fotoğraf CarDD kaynaklıdır ve hasar modelinin eğitiminde görülmüş olabilir; 34 web fotoğrafı yeniden dağıtılamadığı için bu turda yoktu.Tow-relevant lamp/tyre findings (score ≥ 0.60) bypass the gate, so v2 never suppresses them. Caveat: these 44 photos are CarDD-origin and may have been seen in the damage model's training; the 34 web photos could not be re-used this round.
Test 4 · Kötü fotoğraf (100 hasarlı fotoğrafın bulanık ve karanlık kopyaları)Test 4 · Bad photos (blurred and darkened copies of 100 damaged photos)
| v1.3 hasar bulduv1.3 found damage | v2 hasar bulduv2 found damage | v2 yeniden çekim istediv2 asked for a retake | v2 buldu veya istediv2 found or asked | |
|---|---|---|---|---|
| Bulanık (Gauss σ 4)Blurred (Gaussian σ 4) | 81.0% | 72.0% | 100.0% | 100.0% |
| Karanlık (gece benzetimi)Dark (night simulation) | 50.0% | 53.0% | 91.0% | 95.0% |
Kalite kapısı: 256 px gri kopyada Laplace varyansı < 50 → bulanık, ortalama parlaklık < 55 → karanlık. İyi fotoğraflarda gereksiz uyarı: hasarlı %0,9, bütün araç %1,8, yakın çekim %7,1.Quality gate: on a 256-px grey copy, Laplacian variance < 50 → blurry, mean luma < 55 → dark. Needless warnings on good photos: damaged 0.9%, whole cars 1.8%, close-ups 7.1%.
Test 5 · Mühendislik testleriTest 5 · Engineering tests
| TestTest | SonuçResult |
|---|---|
| Tarayıcı JS ↔ Python eşdeğerliği (hızlı mod)Browser JS ↔ Python parity (fast mode) | 1336 fotoğrafphotos · max Δ 1.4e-06 · farklı karardifferent decisions: 0 |
| Eşdeğerlik (dikkatli mod)Parity (careful mode) | 1336 · max Δ 1.1e-06 · 0 |
| API birim testleri (node --test)API unit tests (node --test) | 21/21 geçtipassed |
| Canlı API: /v1/model, /v1/device/assess, temellendirilmiş /v1/damage/assess, /v1/bridge/waLive API: /v1/model, /v1/device/assess, grounded /v1/damage/assess, /v1/bridge/wa | çalışıyor (17.10.2026)working (2026-10-17) |
| Telefon süresi (WASM, önceki ölçüm)Phone time (WASM, earlier measurement) | hızlı ≈ 2,2 sn (1,8 + 0,4) · dikkatli ≈ 4,4 snfast ≈ 2.2 s (1.8 + 0.4) · careful ≈ 4.4 s |
Test 6 · İşe yaramayanlar (olumsuz sonuçlar)Test 6 · What did not work (negative results)
- Gradyan artırmalı ağaç kapısı lojistikten iyi değil (AUROC 0,865 / 0,874) → taşınabilir lojistik regresyon kaldı.A gradient-boosted gate is not better than logistic (AUROC 0.865 vs 0.874) → kept the portable logistic regression.
- Yakın çekim negatifler olmadan öğrenilen birleştirici F1'i yükseltir (0.633) ama yakın çekim yanlış alarmı %41 kalır: yalnızca bütün araç fotoğraflarıyla test etmek yanıltıcıdır.A stacker learned without close-up negatives raises F1 (0.633) but keeps 41% close-up false alarms: testing only on whole-car photos is misleading.
- 48 fotoğraflık galeride v2 daha az tür önerir: "bulunan tür" oranı %66 → %55, fazladan tür 25 → 12. Sınıf başına F1 ise 0,66 → 0,74 (v2 kesinliği seçer).On the 48-photo gallery v2 proposes fewer types: "types found" 66% → 55%, extra types 25 → 12. Per-class F1 rises 0.66 → 0.74 (v2 favours precision).
- Karar katmanı, dedektörün göremediğini göremez: yakın çekim yanlış alarmının geri kalanı ancak yeniden eğitimle düşer (v3).The decision layer cannot see what the detectors miss: the remaining close-up false alarms need retraining (v3).
📘 AI wiki: değişiklikler, yöntem, API, 100 beceriAI wiki: changes, method, API, 100 skills 🧪 v2.0'ı deneTry v2.0 📊 1000 fotoğraf testi1000-photo test
Tüm sayılar cekicin-ai/v2/ betikleriyle yeniden üretilebilir (eval_v2.py, history.py, eval_hard.py, eval_robust.py, parity.mjs). Sayfa make_docs.py ile otomatik üretildi.Every number is reproducible with the scripts in cekicin-ai/v2/ (eval_v2.py, history.py, eval_hard.py, eval_robust.py, parity.mjs). This page is generated by make_docs.py.