Jak optimálně analyzovat data?

Zpráva

ZdenekHQ · #1 Příspěvek od **ZdenekHQ** » 22 bře 2017, 16:58

Představte si na jedné straně detektor kovů, který je schopen změřit např. 20 parametrů naráz.

Na druhé straně mám vzorkovou sadu kovů a potřebuji přiřadit výsledek analýzy detektoru k danému kovu, popř. určit interval.

Aby to nebylo tak jednoduché, některé parametry jsou závislé na vzdálenosti(hloubce) detekce kovu vs. výkon detekčních pulsů, t.j. je k nim známý referenční údaj o výkonu pulsu, ale závislost není lineární.

Tohle všechno je potřeba dát dohromady na "jednočipu".

Měl jsem dnes poměrně dlouhý telefonát, vlastně jsme se shodli na tom, že umíme dobře měřit, ale špatně vyhodnocovat, když je těch dat moc.

V tomhle jako "hardwerář" docela plavu. Potřebuju alespoň nasměrovat, jaký algoritus na to použít.

Nabízí se jednotlivým parametrům přidat váhu a udělat nějakou sumu, ale nevím, jestli to bude použitelný.

P.S. Bohužel ty váhově nejdůležitější hodoty jsou zatíženy největším šumem...

Milan · #2 Příspěvek od **Milan** » 22 bře 2017, 19:24

Fuzzy logika ? Nepochopil jsem zcela, co máš na mysli těmi 20 parametry ,které to změří - 20 vzorků kovů nebo 20 něčeho vztahujícího se k jednomu vzorku kovu ?

procesor · #3 Příspěvek od **procesor** » 22 bře 2017, 19:38

Fuzzy logika
Microchip to už v 90. rokoch implementoval do jednočípov.
http://ww1.microchip.com/downloads/pr_a ... 013129.pdf
https://support.dce.felk.cvut.cz/mediaw ... martin.pdf

pozde

ZdenekHQ · #4 Příspěvek od **ZdenekHQ** » 22 bře 2017, 19:38

@Milan: To druhé.

Problém je, že ty naměřený data (absolutní hodnoty) se samozřejmě mění podle vzdálenosti kovu od cívky, i když tohle se dá liearizovat, pak se mění všechny "stejně". Referenční vzorek se většinou změří v nějaké referenční vzdálenosti, ale není to podmínka.

Já to potřebuju nějak "uchopit" za vhodný konec, pak už to naprogramuju.

Ideální výsledek je tlačítko "learn", kdy se do databáze detektoru doplní reálný vzorek v terénu a přidá se k němu odpovídající ID vzorku. Jenže na jednočipu to jaksi není jednoduchý, i té paměti je málo...

procesor · #5 Příspěvek od **procesor** » 22 bře 2017, 19:43

Na to sú dobré neurónové siete, ale to je celá veda, napchať do do 16kB to asi nepôjde.
Niečo chytré je aj v mincovniciach, pritom v tom bude iba nejaký jednočíp, a jenoducho sa to dá preučiť na inú menu.

lesana87 · #6 Příspěvek od **lesana87** » 22 bře 2017, 20:01

Co ty sady parametrů nějak znormalizovat (udělat nezávislé na vzdálenosti) a pak například spočítat sumu kvadrátů odchylek parametrů změřené sady od uložených sad a najít tak nejbližší? Pak by se asi dala (odnormováním) dopočítat i přibližná vzdálenost změřeného objektu.

Milan · #7 Příspěvek od **Milan** » 22 bře 2017, 20:07

Motal jsem se kdysi kolem jednoho projektu ,kde se měřila koncentrace kouře v závislosti na čase a výsledkem mělo být rozhodnutí , zda je to požár
nebo třeba jenom někdo prošel s cigárem pod detektorem. Nakonec to bylo řešeno právě fuzzy logikou, neb těch neurčitostí tam je strašně moc .
Ale ještě k těm 20 parametrům - to je časová řada jedné veličiny nebo 20
různých veličin , třeba frekvence , fáze , výkon atd.nebo co já vím co vlastně měříš? Mate mě,že píšeš "naráz" , což vylučuje tu časovou řadu.

#8 Příspěvek od **EKKAR** » 22 bře 2017, 20:19

Ber to takhle - detektor kovu vyšle do okolí vysílací cívkou elektromagnetickej impuls. Po jeho ukončení "čeká na ozvěnu" = na impulsy způsobený vířivýma proudama v kovu "NĚKDE V OKOLÍ". A problém je v tom, že každej kov kvůli jiný vodivosti i jiným magnetickým charakteristikám dává jinou odezvu co se týče velikosti a dalších průběhů - a ještě to celý závisí na velikosti toho kovu a vzdálenosti (to je ono to "mění se úměrně se čtvercem vzdálenosti"). A Zdeněk potřebuje vyhodnocovat právě tyhle průběhy, aby mu to vyhodilo "mosaz 1 kilo metr hluboko" nebo "ocel 2 tuny 5m hluboko" atp....

Milan · #9 Příspěvek od **Milan** » 22 bře 2017, 21:08

To bych snad chápal ,ale zřejmě vyhodnocením jen jedné veličiny z toho
nedostanu info potřebou pro rozhodnutí .Předpokládejme, že někdo zakopal poklad namíchaný ze zlatých, stříbrných a měděných mincí .
Změřím odezvu a co dál - odezva neodpovídá žádnému kovu měřenému samostatně.
Když pominu fuzzy logiku , pak má-li každý kov či jejich kombinace typickou odezvu s nějakým tolerančním polem, pak budu-li mít v paměti
ty křivky včetně tolerančních polí , je to program testující, zda změřená odezva pasuje do těchto tolerančních polí. Když však bude pasovat do více
mustrů v paměti, mohu to fuzzy logikou zjemnit a testovat, který kov to z dané pasující skupiny asi tak může být . U množstevně náhodné směsky kovů to asi moc spolehlivě fungovat nebude .

Prochy · #10 Příspěvek od **Prochy** » 23 bře 2017, 07:29

A co nějak využít autokorelaci dvou signálů? Jeden referenční a druhý aktuálně získaný. Pokud to není úplně zcestná myšlenka.

#11 Příspěvek od **Cust** » 24 bře 2017, 19:38

Škoda, že jsi daleko. Analyza a klasifikace, to je hezka odreagovačka na noční proud. Pokud máš hodně naměřených dat se znamym výsledkem, můžeš analýzu udělat na PC. Asi bych zkusil např PCA nebo třeba neuronové sítě nebo k-means. Na základě vysledků pak sestavit jednoduchý klasifikátor pro jednočip.

ZdenekHQ · #12 Příspěvek od **ZdenekHQ** » 27 bře 2017, 15:14

Ta autokorelace a podobné metody vypadají zajímavě. PC ssebou nosit nechci (někteří už to částečně řeší na tabletech), ale pořád to má jeden problém - ten PC/tablet v terénu dlouho nevydrží, leda by na to šli dva lidi: nosič/kopáč a analyzátor.

Jenže já jsem houby teoretik, analytické metody mně nikdy nešly.