Erneuter Quantensprung im Mpeg2-Encoding

[mb1]

Nach vielen Tests ist mir erneut ein Quantensprung in der Qualitätsverbesserung beim Mpeg2-Encoding gelungen  

Interessanterweise haben die Verbesserungen sogar einen Geschwindigkeitszuwachs (sowohl in Tmpeg(+) als auch CCE) zur Folge ca. 10-15%). Keine Veränderungen wurden dennoch z.B. an jeweils (bisher) optimierten Matrizen vorgenommen...
Diese Verbesserungen betreffen sowohl DVD-Ausgangsmaterial als auch interlaced DV-Material als auch jegliches andere Material (analog Video jeglicher Art, interlaced/noninterlaced, DVD/DV/TV-Capture, Animes ...).

Zum direkten Vergleich sei hier (auch für die Insider) ein Auszug des "Bitrate Viewers" des Achterbahn (goliath) Videos angeführt. Encoded wurde jeweils mit simplen 480x576, 4.250 CBR zum Beweis, was für DVD und auch 4x CD-Laufwerke (GDV 130; Yammi; SEG; CAT etc.) bitratenmäßig möglich ist. Nur sehr bedingt anwendbar sind die Verbesserungen auf niedrigste Bitraten, wie z.B. 1.600 kbps bei SVCD.

Hier nun der Vergleich des Bitrateviewers:

Bisherige Einstellung !
Bild groß


Neue Einstellung !
Bild groß

Encodet wurde hier mit Tmpg 2.53 plus. Deutlich zu sehen ist die harmonischere Bitratenverteilung (für 4.250 CBR), sowie die niedrigere Quantisierung (je niedriger desto besser !) bei identischem Bild-Maßstab.
Die Verbesserungen betreffen im übrigen alle Encoder (! ) z.B. Tmpeg, CCE, LSX u.v.m.

Details werden demnächst bekannt gegeben ...
_________________
Grüße
mb1

Prophet Mohammed:
"Ein für den Wissenserwerb verbrachter Tag ist Gott lieber als 100 Kriege für Gott."

[Helmut]

Details werden demnächst bekannt gegeben ...

mb1 - wir warten (ungeduldig) auf "demnächst"

Topic ist oben festgenagelt - damit es keiner vergisst !
_________________
Wenn mer sich uffreche will: - Eintrachtfan und SPD Mitglied!

[mb1]

Nach eingehenden Analysen verschiedener Streams (auch von DVDs) in denen ich speziell Verblockungen bzw. schlechte Bildqualität untersuchte, habe ich einfach festgestellt, daß die Wurzel allen Übels die GOP (Group of Pictures) ist.
Also die spezielle Anordnung der Bilder in I, P und B-Frames.

Sehen wir uns mal die GOP bei der Tmpeg-Einstellung 1-4-2-1 open an:
IBBPBBPBBPBBPBB IBBPBBPBBPBBPBB IBBPBBPBBPBBPBB usw.

Die B-Frames sind die kleinsten von der Datenmenge her (da dort nur Bildveränderungen zu vorhergehenden und nachfolgenden Bildern gespeichert sind).
Nun hat sich gezeigt, daß Verblockungen (bzw. schlechte Bildqualität) fast ausschließlich in den B-Frames auftreten (wegen der geringen Datenmenge).
B-Frames sind jedoch normalerweise gewünscht, um die Bitrate niedrig halten zu können (für SVCD z.B.).
Bei obiger GOP machen die B-Frames immerhin 2/3 der gesamten Bilder aus.

Da wir aber auf der Suche nach der höchsten Qualität sind und sowieso auch hohe Bitraten einsetzen wollen (z.B. für DVD-Erstellung) fällt einem doch der Ansatz gleich ins Auge:
Warum nicht einfach die (schlechten) B-Frames weglassen !
Gesagt - getan - und einfach neuencodet nur mit I- und P-Frames.
Im obigen Beispiel habe ich einfach mit der Einstellung 1-4-0-1 encodet, also
IPPPP IPPPP IPPPP IPPPP usw.

Ergebnis ist ein besseres Bild, bessere (niedrigere) Quantisierungswerte und ein harmonischer Bitratenverlauf. Das sonst typische Zick-Zack-Muster zeigt sich auf dem Fernseher meistens mit unangenehmen Pumpeffekten (wenn man sehr genau hinschaut).

Im Anschluß habe ich dann auch noch variabel encodet (2pass new) und auch dort zeigte sich eine höchst angenehme Bitratenverteilung (auch in Bezug auf die Varianz und die Ausnutzung vorgegebener Minima und Maxima).

Die Qualität wurde deutlich gesteigert (sowohl bei progressivem DVD-Ausgangsmaterial als auch bei interlaced DV-Material).

Diese Ausführungen sind erst ein kleiner Teil und dienen der Grundlage zur Diskussion und Testarbeit.

Natürlich kann man noch variieren, z.B. längere GOP bei niedrigerer Bitrate etc.
_________________
Grüße
mb1

Prophet Mohammed:
"Ein für den Wissenserwerb verbrachter Tag ist Gott lieber als 100 Kriege für Gott."

[videosys]

Danke mb1 für deine Ausführungen.
Ich habe mit den I-B-P Frames auch schon
viel rumprobiert konnte aber Qualitäts und Encodingtime
mäßig kaum unterschiede feststellen.

auf ein neues
gruss videosys

[Astor]

@mb1
Sehen wir uns mal die GOP bei der Tmpeg-Einstellung 1-4-2-1 open an:
IBBPBBPBBPBBPBB IBBPBBPBBPBBPBB IBBPBBPBBPBBPBB usw.

----------------------------------------------------
Gute Idee.
2 Fragen: ist das absolut DVD-konform ? und: welche Wirkung hat die Einstellung: 1-3-2-1  oder  1-2-2-1 , also weniger P-Frames ?
Mit diesen Einstellungen helfe ich mir schon seit ewigen Zeiten bei meiner ATI all in Wonder wg. maessigen 4000 kbit/sec Grabberrate ueber zu viele Artefakte hinweg.
Die erzeugten DVDs sind wesentlich besser als unter 4 oder 5 P-Frames mit 2 B-Frames.

Astor

[Kika]

Das ist völlig konform zum DVD-Standard, denn der schreibt nur vor, wie groß eine GOP maximal sein darf, nicht aber, wie sie aufgebaut ist. Im Prinzip kannst Du auch ausschließlich I-Frames erzeugen lassen. Das klappt, die Bildqualität ist irre gut, aber der Bitratenbedarf dann natürlich astronomisch hoch.
Generell sind kleine GOPs IMMER besser als große, wie mb1 das auch richtig dargestellt hat. Das gilt aber AUSSCHLIESSLICH, wenn genügend hohe Bitraten zur Verfügung stehen, denn sonst wird die Qualität eher schlechter.

Gruß,
Kika

[dietmar]

Schönen guten Abend,

Ich bin etwas verzweifelt, ich kann die GOP - Struktur nicht verändern bei 2.53 PLUS. Die entsprechenden Schalter sind nicht aktiviert. Woran kann das liegen ??
Ich würde die EInstellunegn auch recht gerne probieren.

Danke
Dietmar

[Kika]

Rechts neben dem Button Setting gibt es den mit der Aufschrift LOAD. Anklicken, im Verzeichnis Extra unlock.mcf wählen und nach Herzenslust (aber hoffentlich mit Sinn und Verstand ;) ) beliebige Einstellungen ändern.

Gruß,
Kika

[Marcus Else]

Hallo,

nach dem ich den Euphorie ausstrahlenden Beitrag von mb1 gelesen habe, mußte ich natürlich meine "Schilfgräser im Wind" (DV interlaced) damit quälen.

Einmal encoden mit 1/3/2/1 und einmal 1/3/0/1 beide mit CQ 80% und max 6000kbps.
Ergebnis: Erstaunlicherweise sind beide mpg-Dateien fast gleich groß. Der Versuch ohne B-Pictures zeigt deutlich mehr Verblockungen, als der mit!

Diesen Widerspruch zu den Versuchen von mb1 kann ich mir nur wie folgt erklären:

CQ 80% und 6000kbps reicht für die Gräser nicht aus. Die Qualität ist immer schlechter als 80% und die Bitrate klebt bei 6000. Lasse ich nun die speicher- und damit bitratensparenden B-Pictures weg, so müssen die speicherintensiveren I-und P-Bilder mit der Bitrate leben. Diese müssen im Schnitt kleiner und damit schlechter werden.

Daher kann ich die Euphorie von mb1 leider nicht teilen, es sei denn, daß ich irgend eine Bedingung oder Voraussetzung nicht beachtet habe.

Schade!

sagt
Marcus

[Kika]

Tja Marcus, Du hast da den einzigen Schwachpunkt in den Ausführungen von mb1 gefunden.
Ich hatte Dir ja schon mal erklärt, dass solche Szenen extrem sind, was den Bitratenbedarf anbelangt.
Die Methode von mb1 verlangt aber generell sehr hohe Bitraten, sie versagt in solchen Fällen total.

Aber um das mal ein wenig genauer zu beleuchten:
Es ist nicht so, dass Verblockungen grundsätzlich von B-Frames ausgelöst werden. Vielmehr ist es so, dass bei den B-Frames am meisten von den Encodern getrickst wird. Im Gegenteil, durch die B-Frames wird es möglich, mehr der zur Verfügung stehenden Bitrate auf die I- und P-Frames zu verteilen, die dadurch an Qualität gewinnen. Vor allem bei den I-Frames ist das wichtig, da alle anderen Frames einer GOP auf denen basieren.
Wird dieses Spielchen aber zu weit getrieben, dann muss bei den B-Frames zu viel gespart werden. Die Folge ist, dass die darin gespeicherten Macroblocks extrem hoch quantisiert werden und dann deutlich im Bild sichtbar sind.

Was mb1 nun getan hat ist, die zur Verfügung stehende Bitrate auf weniger Frames zu verteilen. Im Prinzip eine prima Sache, denn die Qualität der Einzelbilder steigt dadurch - solange die Bitrate reicht. Kommt man bei dieser Methode aber in den Grenzbereich und darüber hinaus, dann geht die Qualität schlagartig in den Keller, und das sehr viel stärker als würde man B-Frames benutzen. Das deshalb, weil dann einzelne Macroblocks in den I- und P-Frames hoch quantisiert werden müssen, was immer schlechter ist.

Nicht dass Ihr jetzt denkt, ich würde gegen die Methode von mb1 sein, sie hat durchaus ihren Sinn, sie ist aber definitiv kein Allheilmittel (aber bei meinem Lieblingsformat Half-D1 funktioniert sie super).

Und zum Quantisierungslevel als solchem:
Ich hatte an anderer Stelle ja schon mal gesagt, dass hohe Quantisierung nicht zwangsläufig niedrige Qualität bedeutet, sie kann auch bedeuten, dass hoch quantisiert werden KONNTE, aber nicht unbedingt MUSSTE.
Dem Q-Level sollte man daher imho eigentlich gar nicht so viel Aufmerksamkeit schenken. Der Grund:
Die DCT läuft ja immer nach festen Schema ab, die Matrix hat da keinerlei Einfluss drauf. Das Bild wird also in Frequenzmuster zerlegt, die dabei entstehenden Koeffizienten werden mithilfe der Matrix dann quantisiert. So weit, so gut. Die Anzeige des Q-Levels sagt aber im Zweifelsfall nur aus, DAS hoch quantisiert wurde, sie sagt aber damit nicht zwangsläufig aus, dass dabei auch wichtige Bildteile entfernt wurden. Insofern ist der Q-Wert also soooo aussagekräftig nicht. Vor allem schon deshalb nicht, weil er keine Auskunft darüber gibt, wie hoch jeweils die Intra- und die Non-Intra-Blocks quantisiert wurden und auch nicht darüber, wie viele Blocks redundant gespeichert wurden (ein Macroblock kann mehrmals in einem Bild auftauchen).
Das sind ja die Dinge, die eine Optimierung bei der MPEG-Encodierung so schwierig machen.

Gruß,
Kika

[shh]

Interessanter Ansatz!
Ich glaube aber nicht, daß die B-frames an sich schlecht sind. Ich vermute, daß das vielmehr ein TMPGEnc-Problem ist.
Ich hatte mal ähnliche Analysen mit dem CCE gemacht (aber nicht mit DV-Material). Da ist die Verblockung aber "gut verteilt" bzw konzentriert sich nicht auf die B-frames.
B-frames beinhalten übrigens nicht nur die Bildveränderungen. Es sind auch normale intra-blocks (wie in I-frames) und predicted-blocks (wie in P-frames) möglich. - und werden auch oft verwendet. => siehe Analyse mit MPEG Repair.
Gedanke1:
Der encoder trifft ja schon vorher eine Entscheidung, wieviel bitrate er defaultmäßig pro frame einsetzen möchte. Ich meine das jetzt im Sinne von I-frame bekommt doppelt soviel bitrate wie P-frame usw... Warscheinlich kommen die B-frames dabei einfach zu schlecht weg. Hast du schon probiert, die B-frame spoilage runterzudrehen (Bsp: -20), so daß die B-frames gleich per default besser wegkommen?
[Mist, ich merke gerade, daß das nur bei wenigen Modi einzustellen ist...]
Gedanke2:
TMPGEnc quantisiert die b-blocks zu hoch. Bzw geht das ja so, daß die motion-compensation & prediction greift und von den blocks in den B-frames abgezogen wird. Der Rest der noch übrig bleibt, wird durch den DCT gejagt und erstmal mit der default-Matrix quantisiert.
Ich halte es nun für sehr warscheinlich, daß entweder die Motion-compensation *zu oft* greift, d.h. sie erkennt zuviele Sachen als Bewegung und erhöht somit den Fehler, oder am Ende wird der Differenzblock zu hoch quantisiert, so daß es die motion-compensation im gleichen Maße zunichte macht.
Abhilfe könnte hier sein, eine speziell niedrig quantisierende default-Matrix für non-intra-frames einzusetzen. Somit würden die block-Differenzen nicht mehr so hoch quantisiert und die frames sehen vielleicht besser aus.
Hmm, du hast ja CBR encodet... Für multipass-encoder wäre es noch ein paar Tests wert, bei dem man die Motion-Search-Precision runtersetzt.

Ich möchte mich nur nicht so schnell meinen B-frames verabschieden...
Sie können/sollten nunmal wirklich bitrate sparen.

Schönen Grüße
shh
_________________
shh >>> shh's MPEG-tools

[Svennek]

Verstehe ich nicht. Kika sagt:

[Marcus Else]

[Kika]

@Svennek
Da hatte ich mich wohl etwas missverständlich ausgedrückt. Allerdings hat die Verteilung auf die Frames nichts mit der Framerate zu tun. Vielmehr waren die Frames innerhalb einer GOP gemeint.

@shh
Bewegungssuche: dass die teilweise zu viel erkennt, habe ich schon mal gepostet, das ist auch der Grund, warum ich davor gewarnt habe, Highest als das beste zu bezeichnen.
Ich habe Beispielvideos erzeugt (CQ_VBR), die zwar bei Highest weniger Bitrate benötigten als bei High oder Normal, dafür aber auch mehr Artefakte (Mosquitos) beinhalteten.
Bei gutem, scharfen interlaced Video von DV ist Highest aber dennoch das Mass der Dinge.

Mit der Spoilage habe ich mich schon mal vor einiger Zeit befasst. Es ist aber so gut wie unmöglich, da eine allgemeingültige Aussage zu treffen. Mir ist es damit gelungen, einige Szenen deutlich zu verbessern, andere hingegen wurden eher schlechter.
Marcus hat es auf den Punkt gebracht: weise ich den B-Frames mehr Bitrate zu, fehlt sie mir eventuell bei den anderen Frame-Typen.

> Abhilfe könnte hier sein, eine speziell niedrig quantisierende default-Matrix für non-intra-frames einzusetzen. Somit würden die block-Differenzen nicht mehr so hoch quantisiert und die frames sehen vielleicht besser aus.

Das ist der Ansatz, den ich zurzeit verfolge. Klappt aber auch nur in einigen Fällen. Irgendwie scheint nicht ganz klar zu sein, wann Intra und wan Non-Intra-Blocks nun wirklich benutzt werden.
Ich habe mal einen Test gemacht mit einer Non-Intra-Matrix, die so gut wie gar nichts wegquantisiert und mit einer, die irrsinnig hoch quantisiert, der Effekt war sehr gering. Zu sehen praktisch nur in großen, einfarbigen Flächen.

Gruß,
Kika

[mb1]

@ Marcus Else
Wäre es möglich, etwas Testmaterial von den "Schilfgräsern im Wind" zu bekommen.
Falls du DSL hast könnte dir Helmut ja einen Server-Zugang (per PM) nennen, wo du mal 50-80 MB (oder auch mehr) hochladen könntest.

Bei einer Bitrate von 6.000 kriege ich eigentlich alles hin (mit Tricks natürlich) ...

Da Tmpeg tatsächlich die B-Frames etwas spärlich mit Bitrate berücksichtigt, gibt es natürlich noch einige Möglichkeiten:

- nur 1 B-Frame jeweils benutzen (statt normalerweise 2)
- B-Frame-Spoilage auf minus 20-30 setzen
- die Matrix etwas abschwächen (z.B. mb1 interlaced DV in der ersten Schräghälfte um jeweils +5 erhöhen und in der zweiten Schräghälfte um +10)
- die P-Frame-Spoilage auf -10 setzen

und noch ein paar Tricks mehr (z.B. MVBR mit händisch angepassten GOPs) ...
_________________
Grüße
mb1

Prophet Mohammed:
"Ein für den Wissenserwerb verbrachter Tag ist Gott lieber als 100 Kriege für Gott."

[Marcus Else]

@mb1

Vielen Dank für das super Hilfsangebot. Die gesamte Szene ist 41sec lang. Da könnte ich natürlich etwas herausschnitteln. Wieviel Sekunden wären geeignet? Ich würde dann eine Stelle mit besonders viel Bewegung aussuchen.
DSL habe ich zwar nicht selber, aber evtl. eine Möglichkeit, wie ich die Daten absetzen kann.

Viele Grüße
von
Marcus



Zuletzt bearbeitet von Marcus Else am April. 25 2002,09:20

[mb1]

Am besten wär zwar alles (sind dann unkomprimiert 140 MB) oder halt so 20sek (ca. 70 MB unkomprimiert).

Weiß jetzt gerade nicht, wie stark sich ein DV-avi beim zippen verkleinern lässt (schätze mal 10-15%), hängt aber nur davon ab, wieviel du hochladen willst.

Auf dem Server gäbe es jedenfalls keine Platzprobleme.
_________________
Grüße
mb1

Prophet Mohammed:
"Ein für den Wissenserwerb verbrachter Tag ist Gott lieber als 100 Kriege für Gott."

[Marcus Else]

Hallo mb1,

ich würde schon versuchen alles rüber zu schieben.
Zippen kann ich natürlich probieren, aber ich denke mehr als 1-2% kommen dabei nicht heraus.

Alternativ und ohne viel Versuche könnte ich auch eine CD in einen Briefumschlag packen. Das dauert dann zwar etwas länger, verringert aber mein Risiko und den Ärger mit irgendwelchem Firewalls. Dann brauche ich nur eine Postanschrift.

Viele Grüße
von
Marcus

[Helmut]

Hab Dir ne PM geschickt. Probiere es dort mal. Wenn du nicht klar kommst - CD an mich schicken.
_________________
Wenn mer sich uffreche will: - Eintrachtfan und SPD Mitglied!

[mb1]

Hallo Marcus,

ich habe es gerade mal getestet mit WinAce 2.11
Hat ein DV-avi von 204 MB auf 165 MB komprimiert, also fast 20%.

Meine Adresse kann ich leider nicht herausgeben.

Vorteil mit dem Server wäre auf jeden Fall, daß das avi auch noch anderen "Testern" zur Verfügung steht, z.B. Helmut, Kika, shh ...

Oder halt die CD an Helmut zu schicken wäre mir auch recht. Dann bekomme ich es schon irgendwie.
_________________
Grüße
mb1

Prophet Mohammed:
"Ein für den Wissenserwerb verbrachter Tag ist Gott lieber als 100 Kriege für Gott."