Papa App

Überblick

Mein Vater kann durch seine Augenerkrankung nur noch schlecht sehen. Die Papa App macht ihn deshalb konsequent audio-first: nahezu jede Funktion bietet eine Vorlese-Funktion an, sodass er die App weitgehend ohne Lesen bedienen kann.

Meine Rolle

Konzeption und Umsetzung von App und Backend: Architektur, UI in SwiftUI und die Sprachausgabe, die jede Funktion begleitet, dazu die API in Spring Boot mit KI-Anbindung, Datenhaltung und Live-Updates über WebSockets sowie die CI/CD-Pipelines für beide Teile.

Highlights

• Vorlese-Funktionen in allen Bereichen der App.
• Große Uhr mit Datum auf der Startseite, auf Wunsch mit minütlicher Zeitansage.
• Kochtimer für Eier und Brötchen mit gesprochenen Hinweisen.
• Live-Daten der Solaranlage mit Tages- und Wochendiagramm.
• Live-Stromverbrauch großer Geräte wie Spül- und Waschmaschine.
• Einkaufsliste: Artikel hinzufügen, die direkt auf der gemeinsamen Familienliste landen, und den Wocheneinkauf komplett vorlesen lassen.
• Notizen mit verschachtelten Kategorien.
• Vorlesen langer Texte Satz für Satz, mit Hervorhebung des gesprochenen Worts, Pause und Stopp.
• Müllabfuhr-Termine mit Erinnerung am Vorabend, über die Better Tonnenticker API.
• KI-Chat, dessen Antworten vorgelesen werden und sich als Notiz speichern lassen.
• Foto-Analyse: Fotos aufnehmen, eine Frage stellen, die Antwort vorgelesen bekommen.
• Wetter mit KI-Zusammenfassung, wann die Solaranlage genug Strom für große Geräte liefert.
• Fehlertolerante Suche über Notizen und Foto-Analysen.
• Tägliche Medikamenten-Erinnerung als Wecker.
• iPad-Layout und Unterstützung für den Assistiven Zugriff von iOS.
• Barrierearme Weboberfläche für Notizen und Fotos, direkt im Backend umgesetzt mit Thymeleaf und htmx.

Eingesetzte Technik

• Native iOS-App in Swift und SwiftUI mit SwiftData, Swift Charts und eigener Kamera.
• Sprachausgabe mit AVSpeechSynthesizer, satzweise und mit Wort-Hervorhebung.
• KI über die Anthropic API (Claude), alternativ Apple Intelligence auf dem Gerät.
• Backend in Java 21 mit Spring Boot, PostgreSQL, MongoDB und MinIO für Fotos.
• KI-Antworten entstehen asynchron im Backend und kommen per STOMP über WebSockets in die App.
• Stromdaten der Geräte live über MQTT von smarten Steckdosen.
• Solardaten und Müllabfuhr-Termine über eigene REST-APIs, Clients generiert aus OpenAPI.
• Die Einkaufsliste wird mit dem Backend meines Bruders synchronisiert.
• Wetterdaten des Deutschen Wetterdienstes über Bright Sky.
• CI/CD mit Xcode Cloud für die App und Azure Pipelines mit Docker für das Backend.

Aktuell in Entwicklung

• Familien-Chat mit Direkt- und Gruppenchats, live über WebSockets / STOMP.