Format TOON - to prosty format tekstowy danych, który ułatwia pracę z strukturami podobnymi do JSON. Jest płaski: każdy klucz i wartość zapisane są w osobnej linii, bez nawiasów, cudzysłowów i złożonych struktur.
Na przykład, JSON
{
"name": "Yuki",
"age": 28,
"skills": ["ruby", "rails", "ai"]
}
w TOON wygląda jak
name: Yuki
age: 28
skills: ruby, rails, ai
Dlaczego TOON ma sens przy pracy z AI?
-
Płaska struktura zmniejsza błędy modeli. JSON jest złożony: przecinki, nawiasy, cudzysłowy - modele czasami je pomijają lub łamią. TOON eliminuję ten "szum" i pozostawia tylko dane.
-
Mniej tokenów. W dużych modelach (GPT, LLaMA itp.) opłata i prędkość zależą od liczby tokenów. JSON ma wiele składni: nawiasy, cudzysłowy, przecinki, spacje. TOON to minimalizuje, pozostawiając tylko klucze i wartości, co oszczędza tokeny i pozwala pracować z większymi zbiorami danych bez przekraczania limitu.
- Łatwiej jest podpowiadać i edytować. Ludziom i modelom łatwiej czytać płaską listę kluczy i wartości. Model rzadziej generuje błędy składniowe i nie "łamią" struktury.
- Proste przechowywanie i analiza. TOON łatwiej porównywać w wersjach, robić różnice, integrować w pipeline'y, gdzie JSON jest zbyt nieporęczny.
Krótko mówiąc. TOON zmniejsza ważoną wagę danych, sprawia, że są one łatwiejsze dla modeli, a jednocześnie zachowuje możliwość łatwego konwertowania z powrotem na dane strukturalne. To optymalny format dla konfiguracji AI, podpowiedzi i dużych zbiorów danych strukturalnych.