Simpel "Pattern Recognition"

Jeg har tidligere lavet noget ignende i forbindelse med en Bot til at spille blackjack.

Det jeg gjorde var se se på hvor mange forksellige billeder der kan være på det sted på skærmen du skal tage et billede af. HVis ikke der kan være så mange. Kan du udvælge nogle forskellige pixels indenfor dit billede og så se på deres farve, og hvis farven på de pixels er som du forventer, så er dit billede rigtigt. Det er simpelt og vil virke

Jeg har tidligere lavet noget ignende i forbindelse med en Bot til at spille blackjack.

Det jeg gjorde var se se på hvor mange forksellige billeder der kan være på det sted på skærmen du skal tage et billede af. HVis ikke der kan være så mange. Kan du udvælge nogle forskellige pixels indenfor dit billede og så se på deres farve, og hvis farven på de pixels er som du forventer, så er dit billede rigtigt. Det er simpelt og vil virke

Jeg må erkende at jeg Ikke lige har fået fat i den røde tråd her, men ejg tror jeg har en god idé.

Anyway, det er vigtigt at bemærke at "mønsteret" kan befinde sig (eller ikke befinde sig) et hvilket som helst sted i et screenshot med varierende opløsning.

Jeg har naturligvis regnet ud hvordan det kan gøres rent teoretisk, selv om jeg må erkende at jeg har haft nogle mærkværdige "bugs" i praksis. Ja, jeg har ikke været inde i C# verdenen særlig længe, men det kommer nok nu da jeg er tvunget til at sætte mig ind i det.

Nuvel, tilbage til det åbenlyse metode som ganske enkelt involverer at find en pixel i "screenshot" som matcher første pixel i "pattern", når/hvis en sådan finde, tester man næste pixel i "screenshot" op imod næste pixel i "pattern". Hvis testen fejler først man er nået til enden af "pattern", fortsætter man naturligvis testen fra start af "pattern" indtil man har fundet et match eller er nået til enden af "screenshot".

Som sagt har jeg haft visse vanskeligheder med at få dette til at fungere, men ikke desto mindre, er det utrolig mange ressourcer der bliver brugt og da tid er en vigtig faktor, håber jeg meget at der findes en bedre metode som jeg ikke har regnet ud endnu.

Jeg mente nu ikke at du skulle løbe alle pixels igennem, 3-4 pixels ville være nok fordelt inden for eks 32 x 32 pixels.

Problemet er så at det kan være et hvilket som helst sted på din skærm. Dertil dur min metode ikke, det er mere hvis den kun kan være eet sted, og så enten være der eler ej.

Jeg kan ikke umiddelbart se en nem løsning på dit problem

I virkeligheden ville det smarte vel være at konvertere både screenshot og pattern til et bitset eller lignende, derefter vil det være let at foretage testen.

for(int i = 0; i < screenshot.size; i++)
    if((screenshot & (pattern << i)) == (pattern << i))
        do {something}

Dette overskrider i midlertid mine evner.

En lille opdatering. Jeg er blevet informeret om at "brute force" metode er den hurtigste i mit tilfælde, så nu er der faktisk kun tilbage at finde ud af kode strukturen som jeg stadig slås med.

Umiddelbart vil jeg da tro at Brian's ide i det mindste vil virke til rimelig hurtigt at bort kaste forkerte resultater:

Vælg x forskellige pixels i dit mønster og sørg for at de ikke er for ens. Fuldkomman random pick virker sikkert fint:

pixels = []
for i = 0 to 10:
  x = random() * mønster.højde
  y = random() * mønster.bredde
  pixels.push([x ,y])

Og så det bare at løbe skærmbilledet igennem

foundit = false
for x = 0 to skærm.bredde - mønster.bredde
  for y = 0 to skærm.højde - mønster.højde    
    possible = true
    for i = 0 to 10:
      dx =  pixels[i][0]
      dy =  pixels[i][1]
      if not skærm[x+dx][y+dy] == mønster[dx][dy]
        possible = false
        break
    if possible
      found = true
      for dx = 0 to mønster.bredde:
        for dy = 0 to mønster.højde:
          if not skærm[x+dx][y+dy] == mønster[dx][dy]
            found = false
            break
        if not found
          break
      if found
        found_it = true
        break
  if found_it
    print mønstret findes på x y
    break

Noget i den retning.

Hvis dit billede eksempelvis er 32 x 32 pixels, så kan du jo se på dit mønster, lave en lige linie igennem det på tværs. Så har du 32 x 1 pixel. Så kan du løbe alle "linie" igennem i dit billede og se om din sekvens er i den linie... ved ikke hvad træfsikkerheden er, måske > 90%

Mit pattern er i den størrelsesorden, men billedet jeg skal finde omtalte pattern i kan være op til 1920*1200, muligvis større.

Kun at søge efter en linje fra mit pattern er naturligvis en mulighed, ligesom det er en mulighed kun at søge efter en pixel, men for at sikre at den rigtige position bliver funder, ønsker jeg at søge på det fulde pattern.

Faldt lige over dit problem, og så at ingen havde postet kode

Følgende virker fint, men er fuldstændigt uoptimeret. Denne metode matcher et helt bitmap, så du skal selvfølgelig kun matche på pixels, hvor din patterns har alpha!=0.

        /**
         * Do image match
         * 
         * We do naive brute force pattern matching:
         * We start with a source image, sImage, and a pattern image, pImage.
         * To make things easy, the source must be at least the size of the pattern, 
         * i.e., we must be able to find a complete match.
         * 
         * We proceed as follows:
         *      for all pixels in range in sImage
         *          for all pixels in pImage
         *              match = true;
         *              if !( sImage.pixelAt(s_x,s_y) == pImage.pixelAt(p_x,p_y) )
         *                  match = false;
         *                  break;
         *          end
         *          if match 
         *              report results!
         *      end
         *      
         * the ranges we must iterate through in the outer loop is 
         *      [0..sImage.Height-pImage.Height] and [0..sImage.Width-pImage.Width]
         */
        private void button2_Click(object sender, EventArgs e)
        {
            Bitmap sImage = (Bitmap)sourcePictureBox.Image,
                    pImage = (Bitmap)patternPictureBox.Image,
                    rImage; // result image

            if (sImage != null && pImage != null && sImage.Width >= pImage.Width &&
                    sImage.Height >= pImage.Height) {
                int difX = sImage.Width - pImage.Width;
                int difY = sImage.Height - pImage.Height;
                
                for (int i = 0; i < sImage.Height - difY; i++) {
                    for (int j = 0; j < sImage.Width - difX; j++) {
                        bool match = true;
                        for (int k = 0; k < pImage.Height && match; k++) {
                            for (int m = 0; m < pImage.Width; m++) {
                                if (!(sImage.GetPixel(j+m, i+k).Equals(pImage.GetPixel(m, k)))) {
                                    match = false;
                                    break;
                                }
                            }
                        }
                        if (match) {
                            rImage = new Bitmap(sImage);
                            Graphics g = Graphics.FromImage(rImage);
                            g.DrawRectangle(new Pen(Color.Red), j, i, pImage.Width-1, pImage.Height-1);
                            targetPictureBox.Image = rImage;
                            MessageBox.Show("match @ ("+j+","+i+")","Match!");
                            return;
                        }
                    }
                }
                MessageBox.Show("Sorry, no match was found.", "No match!");
            }
        }