Using AI in Software Design: How ChatGPT Can Help With Creating a Solution Architecture

[rdmueller]

Diskussion for my iSAQB Talk AI in Software Design.

Feel free to discuss in german or english.

[dc7590]

Wie ist die "Qualität" der Lösung?

[rdmueller]

Lass uns ChatGPT fragen!

Nach der Überprüfung des Dokuments "000-Solution.pdf" zu der iSAQB "BigSpender" Fallstudie für die fortgeschrittene Ebene sind hier einige Beobachtungen:

Zusammenhang und Konsistenz: Das Dokument scheint in sich stimmig zu sein. Die Abschnitte sind klar strukturiert und decken verschiedene Aspekte des Systementwurfs ab, darunter Qualitätsszenarien, Lösungsstrategie, technischer Kontext, Geschäftsstrukturierung, Technologieentscheidungen und Evaluierung. Jeder Abschnitt baut auf dem vorherigen auf und trägt zur Gesamtstrategie des Systemdesigns bei​​.

Qualitätsszenarien und -ziele: Die Qualitätsszenarien und -ziele sind klar definiert und gewichtet. Jedes Szenario ist direkt mit den Qualitätsmerkmalen verknüpft, was eine direkte Verbindung zwischen den Anforderungen und den architektonischen Entscheidungen herstellt​​.

Technologieentscheidungen: Die Technologieauswahl, einschließlich Programmiersprachen, Betriebssystemen, Datenbanktechnologien und Kommunikationsmechanismen, ist gut begründet und auf die Qualitätsszenarien abgestimmt. Es gibt eine klare Beschreibung, wie jede Technologiewahl zu den Qualitätszielen beiträgt​​.

Architektonische Entscheidungen und Trade-offs: Jedes Qualitätsszenario wird mit spezifischen architektonischen Entscheidungen und deren Trade-offs verbunden. Diese Entscheidungen sind gut durchdacht und zielen darauf ab, die identifizierten Risiken zu minimieren und die kritischen Qualitätsziele zu erreichen​​.

Fehlende Nummerierung in Qualitätsszenarien: In der Tabelle der Qualitätsszenarien gibt es einen Sprung von Q3 zu Q5, ohne Q4 zu erwähnen​​. Dies könnte ein Fehler oder eine Inkonsistenz sein, da es unklar bleibt, ob ein Szenario fehlt oder ob es sich um einen Tippfehler handelt.

Zusammenfassend lässt sich sagen, dass das Dokument gut strukturiert und kohärent ist, mit klar definierten Zielen und Szenarien, die aufeinander abgestimmt sind. Die einzige bemerkte Unstimmigkeit ist die Nummerierung in den Qualitätsszenarien.

Ansonsten bin ich mit den Antworten recht zufrieden. Ich hätte sicherlich an der einen oder anderen Stelle andere Entscheidungen getroffen. Das kann man mit ChatGPT auch gut diskutieren.

[dc7590]

Werden Token einfach FIFO bearbeitet?

[rdmueller]

Good question. The whole chat is turned into context. So with each new prompt and answer, the context grows. This whole context is fed into the model and this part of the token chain seems to be FIFO.
But with the PDFs it seems to be different. It seems that they are stored in a vector database and only the relevant parts are added to the context when necessary. That's why it made such a huge difference when I added "... as stated in the document" to my prompt. So in this case, it seems that the tokens from the fragment found in the vector database are injected when needed and are not FIFO.

[rdmueller]

Just learned something new. It seems that ChatGPT "compresses" the context by leaving out things which might not be relevant. Here is an example:

User: Since the exam is not interactive, I think, it is important that we use the correct term regarding their definitions. Here is the official glossary. Read it. Name the three most interesting terms.
Assistant: [The assistant reads the glossary and lists three interesting terms.]

So, it leaves out its own answer. Interestingly, it seems to mainly leave out its own answer. In the case above, it looks like the answer is irrelvant because it just repeats something. But it seems that it mainly leaves out its own answers to compress the context window. This makes it hard for the model to interate on its own (older) answers.

But Filecontent does not count directly regarding the context window. It stays in the virtual filesystem and can be retrieved whenever needed.