Cisimcik AI Lab
Araştırmayı mühendislikle birleştirerek yapay zeka geliştiren bağımsız bir laboratuvarız. Odağımızda Türkçe için açık modeller var.
Modeller
Base model
Kendi fine-tune’larınız için bir başlangıç noktası.
- Parametre
- 4,2 milyar
- CPT token’ı
- 10 milyar
- Türkçe CPT verisi
- %91,5
Sohbet modeli
Tool calling ve hibrit düşünme.
- CETVEL sıralaması
- 1.
- OpenLLM Turkish sıralaması
- 2.
Karar modeli
Metin hakkındaki soruları tek forward pass’te, olasılıklarla cevaplar.
- Parametre
- 4,4 milyar
- Context token’ı
- 32 bin
Benchmark
Model kartlarındaki skorlar. Her satırda en yüksek skor işaretli.
cisimcik-4b
| Cisimcik AI Labcisimcik-4b | VNGRSKumru-7B | AlicanKiraz0Kara-Kumru-v1.0-2B | meta-llamaLlama-3.3-70B Instruct | magibumagibu-11b-v0.8 | ytu-ce-cosmosTurkish-Gemma-9b | |
|---|---|---|---|---|---|---|
| CETVEL Ortalama | 57,31 (en yüksek) | 41,58 | 37,56 | 35,85 | 32,5 | 23,10 |
| GEC Dil bilgisi ve yazım | 89,55 (en yüksek) | 80,13 | 64,96 | 44,10 | 19,6 | 0,07 |
| MCQA Çoktan seçmeli | 64,56 (en yüksek) | 57,64 | 42,02 | 60,08 | 49,3 | 51,85 |
| MT Makine çevirisi | 27,57 (en yüksek) | 14,69 | 10,58 | 24,03 | 11,4 | 18,92 |
| NLI Doğal dil çıkarımı | 78,14 (en yüksek) | 37,42 | 33,86 | 32,40 | 32,1 | 32,68 |
| QA Metne dayalı soru-cevap | 41,09 | 16,30 | 32,54 | 16,08 | 45,0 (en yüksek) | 0,11 |
| SUM Özetleme | 25,50 | 21,51 | 32,55 (en yüksek) | 16,21 | 24,9 | 11,11 |
| TC Metin sınıflandırma | 74,78 (en yüksek) | 63,39 | 46,39 | 58,05 | 44,9 | 46,97 |
| OpenLLM Turkish Ortalama | 59,60 | skor yok | skor yok | skor yok | skor yok | 63,31 (en yüksek) |
| MMLU Akademik bilgi | 65,82 (en yüksek) | skor yok | skor yok | skor yok | skor yok | 63,85 |
| TruthfulQA Bilgi doğruluğu | 45,36 | skor yok | skor yok | skor yok | skor yok | 54,21 (en yüksek) |
| ARC Bilimsel muhakeme | 55,46 | skor yok | skor yok | skor yok | skor yok | 59,64 (en yüksek) |
| HellaSwag Sağduyu | 57,51 | skor yok | skor yok | skor yok | skor yok | 64,19 (en yüksek) |
| Winogrande Bağlamsal muhakeme | 58,37 | skor yok | skor yok | skor yok | skor yok | 64,53 (en yüksek) |
| GSM8K Matematik | 75,09 (en yüksek) | skor yok | skor yok | skor yok | skor yok | 73,42 |
Nasıl ölçtükcisimcik-4b
- CETVEL
- Zero-shot
- OpenLLM Turkish
- v0.2 harness, few-shot
- QA, GEC, GSM8K
- Exact match
- MT
- BLEU
- SUM
- ROUGE-2
- TruthfulQA
- MC2
- Diğerleri
- Accuracy
tau-4b
| Cisimcik AI Labtau-4b | TypeSafeJev | convaiinnovationsLaya | |
|---|---|---|---|
| Türkçe Ortalama | 72,0 (en yüksek) | 71,9 | 48,5 |
| Genel / İngilizce Ortalama | 76,0 | 79,1 (en yüksek) | 57,8 |
| CETVEL 21 görevin ortalaması | 77,6 | 80,3 (en yüksek) | 50,0 |
| MCQA Çoktan seçmeli | 76,5 | 82,0 (en yüksek) | 44,9 |
| TC Metin sınıflandırma | 79,7 (en yüksek) | 76,5 | 56,2 |
| NLI Doğal dil çıkarımı | 79,8 (en yüksek) | 77,5 | 63,9 |
| TR Reasoning Akıl yürütme ve bilgi, çoktan seçmeli | 80,5 | 86,3 (en yüksek) | 41,9 |
| TR Classification Sınıflandırma | 80,2 (en yüksek) | 76,6 | 50,4 |
| TR Claims & routing İddialar ve yönlendirme | 63,2 | 66,0 (en yüksek) | 54,8 |
| TR Ordinal Sıralı puanlama | 39,2 (en yüksek) | 30,9 | 24,6 |
| TR Grammaticality Dil bilgisi doğruluğu | 89,4 | 94,1 (en yüksek) | 55,3 |
| Uzun context 8k-24k token | 89,4 | 91,7 (en yüksek) | 41,1 |
| Uzun context 32k token | 80,2 | Desteklemiyor | Desteklemiyor |
| Uzun context 64k token | 79,2 | Desteklemiyor | Desteklemiyor |
Nasıl ölçtüktau-4b
- Ayar
- Zero-shot
- Kapsam
- 44 görev, 21.566 soru
- Metrik
- Accuracy
- İstek
- Metin ve tek soru, herkese aynı
- Jev
- jev-1.13.0, API (Ekim 2026)
- Laya
- 0.3.24
Veri setleri
cisimcik-4b ve tau-4b’nin eğitim verisini kendimiz hazırladık.
turkish-chat-max-25k
Tool calling ve düşünme içeren, çok turlu sentetik konuşmalar.
- Konuşma
- 24.543
- Görev türü
- 16
- Düşünme içeren
- %73,6
turkish-decisions-max-19k
Hakem panelleriyle etiketlenmiş, System One formatında karar soruları.
- Soru
- 18.853
- Belge
- 1.259
- Soru tipi
- 3
İkisi de Apache 2.0. Açık veri setlerinden alınan belgeler kendi lisanslarını korur.
Örnek konuşmalar
turkish-chat-max-25k’den, olduğu gibi.
Dil bilgisi düzeltme
- Kullanıcı: su cumleyi duzeltip versene bana direk: sakin o ise bulasma arida sokar adamı kovanını comak sokmus olursun
- Asistan: DüşündüSakın o işe bulaşma, arı da sokar adamı, kovanına çomak sokmuş olursun.
Ardışık tool calling
- Kullanıcı: selam dostoevski nin kutuphanedeki en meshur kitabinn raf numarasni acil ogrenebilir mym arkadasm orda beklio da hemen baksn
- Tool çağrıları:
yazar_arakitap_raf_bilgisi_al - Asistan: Dostoyevski'nin Suç ve Ceza adlı kitabı E-12/B rafında yer alıyor ve şu anda rafta mevcut.
Cevaplanamayan soru
- Kullanıcı: Şu an İstanbul'da hava ve kalabalık durumu tam olarak nasıl, bu anlık şartlara göre yürüyüş için hangi kent parkını önerirsiniz?
- Asistan: DüşündüŞu anki canlı hava durumunu ve anlık kalabalık yoğunluğunu takip etmem mümkün değil. Ancak genel olarak doğayla baş başa kalabileceğiniz sürdürülebilir yeşil alanlar arıyorsanız Atatürk Kent Ormanı veya Nezahat Gökyiğit Botanik Bahçesi, şehrin karmaşasından uzaklaşmak için her zaman huzurlu alternatifler sunar.
Araçlar
dropoutt, Cisimcik AI Lab’ın geliştirdiği açık kaynak bir CLI. LLM eğitim verisini eğitimden önce denetler.
pip install dropouttYerelde çalışır, hesap gerekmez. Apache 2.0, Python 3.10+.
dropoutt scan ./data done Scanned 332 records ◧◨ 5 problems would fail a fine-tuning run 332 records · 5 datasets · 15k tokens · tr 97%, unknown 3% What would go wrong would block Role names your trainer will not recognise T0-ROLE-002 60 of 291 records · 21% non-canonical role names: 'human' (60), 'gpt' (60) → Map roles to system/user/assistant before training, or confirm yourtrainer maps them. would block Files are not training data T0-SCHEMA-001 1 of 5 datasets logs: records carry type='queue-operation' → Point the scan at your dataset directory rather than a project or logdirectory. warning Responses that teach the model nothing T0-DEGEN-001 133 of 324 responses · 41% 2 trivial, 131 looping responses → Remove trivial, looping or prompt-copying responses. Written to data/.dropoutt report.html the excerpts and every finding in full findings.jsonl one finding per line, for scripts fingerprint.json comparable measurements, for diffing runs No pass-or-fail verdict: no target declared. Pass --target sft to turnfindings into an exit code. 332 records in 0.4s.
Ekip
Veriden yayına her adımı kendimiz yürüten, bağımsız, iki kişilik bir ekibiz.
