große json Dateien laden

[tkay11001]

Moin zusammen,

ich lese Daten aus einer Datenbank aus, Wandel die in JSON und reiche die dann weiter über Javascript an eine Webseite. Das klappt ganz wunderbar bei relativ überschaubaren größen. Werden die Datenmengen größer bricht der Vorgang leider ab. Es gibt bestimmt eine "einfache" Lösung für das Problem, nur leider kenn ich die offenbar überhaupt nicht. Das streaming scheint da auch keine Lösung zu sein, da ich das ja nicht auf JSON Objekte in der Übertragung einschränken kann oder? Ich merkt ich stehe auf dem Schlauch und benötige dringend einen kleine Schubser in die richtige Richtung. Ein buzzword reicht mir eventuell schon. Danke Euch, Gruß
Tkay

[rzscout]

Hi tkay11001,
eine Lösung wäre es die Daten im XML-Format zu schicken. So können auch Sonderzeichen die als Steuerungszeichen in JSON verwendet werden mitgeliefert werden.

[tkay11001]

wenn ich Dich richtig verstehe, meinst Du einfach die Datei als stream in xml Format senden? Dann einfach die chunks validieren und danach parsen? Das könnte wirklich eine Lösung sein. Ich bin gerade dabei zu überlegen ob ich von der Serverseite einfach immer nur chunks sende. Also mit go(verwende ich gerade) dafür eine passende serve Variante schreibe. Hier bin ich aber über die erste Überlegung auch noch nicht hinaus  Schon mal vielen Dank werde Deine Variante gleich mal mit einer mini Datei testen.

[rzscout]

wenn ich Dich richtig verstehe, meinst Du einfach die Datei als stream in xml Format senden? Dann einfach die chunks validieren und danach parsen? Das könnte wirklich eine Lösung sein. Ich bin gerade dabei zu überlegen ob ich von der Serverseite einfach immer nur chunks sende. Also mit go(verwende ich gerade) dafür eine passende serve Variante schreibe. Hier bin ich aber über die erste Überlegung auch noch nicht hinaus  Schon mal vielen Dank werde Deine Variante gleich mal mit einer mini Datei testen.

Datei ist das falsche Wort. Es werden Daten als XML gemeint. XML hat zu JSON Vor- und Nachteile. Vorteil ist das ich mit XML auch komplexe Inhalte mit Zeichen die in JSON als Steuerungszeichen angesehen werden mit übertragen werden können und das ohne Probleme. Es auch da zwei Ausnahmen, aber sonst lässt sich einiges damit übertragen.

Ich habe jahrelang JSON verwendet und werde natürlich auch in Zukunft verwenden. Mein Schwerpunkt wird aber mehr wieder bei XML da es Namespaces und damit lassen sich komplexe Hierarchien darstellen. Leider ist das in JSON nicht möglich. Dafür ist der Overhead kleiner in JSON.