Data processing and analysis

Back

Course

Data processing and analysis

Data, chart, model and decision in one chain, on agricultural examples. This source covers weeks 5-8 of the course, plus a computer vision project module.

Core thesis

Az adat nem tudás. A mérés, a tárolás, az ábra, a modell és a döntés egyetlen láncot alkot, és a lánc annyit ér, amennyit a leggyengébb szeme. Ha a végén nincs döntés, amelynek a hatása visszamérhető, akkor adatgyűjtés történt.

Week by week

  1. W5

    Data visualisation: techniques, tools, decision support

    Miből következik a diagramválasztás, mi torzít, és mikor lesz egy műszerfalból döntés.

    Lecture

  2. W6

    Time series analysis in agricultural production

    Miből áll egy idősor, mihez mérjük az előrejelzést, és miért nem szabad véletlenül szétvágni.

    Lecture

  3. W7

    Managing large databases

    Hogyan fekszik az adat, mibe kerül a lekérdezés, és miért a kimondatlan séma a legdrágább hiba.

    Lecture

  4. W8

    Foundations of predictive analytics. AI methods in agriculture

    A szétvágás fegyelme, a torzítás-szórás átváltás, az értékelés ritka osztályon, és a küszöb mint gazdasági döntés.

    Lecture

The full plan

The course as a hypergraph

The hubs are the topic groups, the dots are concepts. A hyperedge is not a set of pairs: one hub, one line to every member. Click anything.

Explanatory viewExploratory data analysis (EDA)Exploratory viewVisual encodingPerceptual rankingData-ink ratioTruncated axisDual axisColour scalePerceptual uniformityColour vision deficiencyUncertainty displaySmall multiplesChart junkDashboardActionable metricBaselineAction thresholdTime seriesTrendSeasonalityDecompositionStationarityDifferencingAutocorrelationExponential smoothingHolt-Winters methodARIMA modelSARIMA modelExogenous variableNaive forecastSeasonal naive forecastForecast horizonPrediction intervalWalk-forward validationForecast errorMASEGrowing degree daysPhenologyColumn storeRow storeCSVParquetArrowPartitioningSchemaIndexQuery planJoinOLTPOLAPEmbedded analytical engineTime series databaseVector spatial dataRaster spatial dataCoordinate reference systemData qualityMissing valueTime zone pitfallRaw layerCurated layerPredictionFeatureLabelTraining setValidation setTest setData leakageSpatial autocorrelationSpatial block cross-validationCross-validationOverfittingUnderfittingRegularisationLinear regressionLogistic regressionDecision treeRandom forestGradient boostingClass imbalanceConfusion matrixPrecision and recallROC AUCDecision thresholdPermutation importanceSHAP valueDistribution shiftRetrainingImage formationIlluminationExposureWhite balanceCamera calibrationScale calibrationColour spaceVegetation indexExcess green indexNDVIThresholdingMorphological operationsContour analysisImage classificationObject detectionSegmentationTransfer learningAnnotationAugmentationTilingIntersection over unionTask-level metricDomain shiftObject trackingIdentity switch05. Adatvizualizáció és döntéstámogatás05. Adatvizualizáció és döntéstámogatás06. Idősorelemzés az agrártermelésben06. Idősorelemzés az agrártermelésben07. Nagy adatbázisok kezelése07. Nagy adatbázisok kezelése08. Prediktív analitika és MI az agráriumban08. Prediktív analitika és MI az agráriumbanProjektmodul: gépi látás az agráriumbanProjektmodul: gépi látás az agráriumban

Pick a topic group or a concept. The connections are not drawn by this page: they are the hyperedges of the source.

5 topic groups · 113 concepts

Syllabus

  1. 05. Adatvizualizáció és döntéstámogatás

    18 concepts

    Az ábra nem illusztráció, hanem érv: mit kódolunk mivel, mi torzít, és mikor lesz a műszerfalból döntés.

    Explanatory viewExploratory data analysis (EDA)Exploratory viewVisual encodingPerceptual rankingData-ink ratioTruncated axisDual axisColour scalePerceptual uniformityColour vision deficiencyUncertainty displaySmall multiplesChart junkDashboardActionable metricBaselineAction threshold

  2. 06. Idősorelemzés az agrártermelésben

    21 concepts

    Trend és szezon szétválasztása, előrejelzési módszerek — és a becsületes értékelés, amely nélkül mindegyik jól hangzik.

    Time seriesTrendSeasonalityDecompositionStationarityDifferencingAutocorrelationExponential smoothingHolt-Winters methodARIMA modelSARIMA modelExogenous variableNaive forecastSeasonal naive forecastForecast horizonPrediction intervalWalk-forward validationForecast errorMASEGrowing degree daysPhenology

  3. 07. Nagy adatbázisok kezelése

    22 concepts

    A tárolás alakja, a lekérdezés ára és az adatminőség: mitől marad interaktív egy elemzés, amikor az adat már nem fér a memóriába.

    Column storeRow storeCSVParquetArrowPartitioningSchemaIndexQuery planJoinOLTPOLAPEmbedded analytical engineTime series databaseVector spatial dataRaster spatial dataCoordinate reference systemData qualityMissing valueTime zone pitfallRaw layerCurated layer

  4. 08. Prediktív analitika és MI az agráriumban

    27 concepts

    Modellcsaládok, és ami fontosabb náluk: a szétvágás fegyelme, az értékelés mércéje és a döntési küszöb ára.

    PredictionFeatureLabelTraining setValidation setTest setData leakageSpatial autocorrelationSpatial block cross-validationCross-validationOverfittingUnderfittingRegularisationLinear regressionLogistic regressionDecision treeRandom forestGradient boostingClass imbalanceConfusion matrixPrecision and recallROC AUCDecision thresholdPermutation importanceSHAP valueDistribution shiftRetraining

  5. Projektmodul: gépi látás az agráriumban

    25 concepts

    A képalkotás mérés. Kalibráció, klasszikus feldolgozás, tanult modellek — és a feladat valódi mércéje a modellmérőszám helyett.

    Image formationIlluminationExposureWhite balanceCamera calibrationScale calibrationColour spaceVegetation indexExcess green indexNDVIThresholdingMorphological operationsContour analysisImage classificationObject detectionSegmentationTransfer learningAnnotationAugmentationTilingIntersection over unionTask-level metricDomain shiftObject trackingIdentity switch

Glossary

Aiko

Aiko

The syllabus is preliminary but not improvised: every concept listed here comes from the same HyMeKo source as the glossary. Change a definition there and it changes here.