Swift
اپنے Core ML ڈیٹیکٹر کے ساتھ Mac کی مقامی کیمرا ایپ۔
Core ML · macOSBadBob / Playground
تربیت یافتہ ماڈل کو کارآمد چیز بنائیں۔ چھوٹی اوپن سورس مثالیں، واضح مراحل اور ایسا کوڈ جسے آپ اپنی سوچ کے مطابق ڈھال سکیں۔
اوپن سورس · MIT · آپ کا ماڈل آپ ہی کا رہتا ہے

01 / اپنا راستہ چنیں
اپنے Core ML ڈیٹیکٹر کے ساتھ Mac کی مقامی کیمرا ایپ۔
Core ML · macOSماڈلز کی جانچ اور کارآمد ٹول بنانے کے لیے اسکرپٹنگ کا راستہ۔
ONNX Runtime · OpenCVمعاونت یافتہ ONNX ماڈل کے ساتھ براؤزر کی مثالیں۔
Web · ONNXماڈل اور رن ٹائم کی واضح ضروریات والا مقامی راستہ۔
OpenCV · ONNXماڈل چلانے کے لیے واضح انٹرفیس والے عملی ٹول۔
GoCV · ONNXOpenCV اور معاونت یافتہ ONNX ماڈل کے ساتھ کیمرا اور مقامی استدلال۔
OpenCV · ONNXDeviconGo Gopher — Renee FrenchCC BY 3.0
02 / Swift Core ML + Vision
مکمل Swift مثال: ماڈل چنیں، کیمرا شروع کریں اور تصویر سے ملتی پیش گوئیاں دکھائیں۔ مراحل ترتیب سے پڑھیں یا پورا سورس کوڈ دیکھیں۔
یہ مثالیں محدود ماحول میں اشیا اور جانوروں پر مرکوز ہیں۔ ان میں لوگوں کی نگرانی، شناخت یا رویے کا تجزیہ شامل نہیں۔
سورس ڈاؤن لوڈ کریں اور ٹیسٹ چلائیں۔ آپ کو کیمرا اور Vision سے مطابقت رکھنے والا Core ML آبجیکٹ ڈیٹیکٹر چاہیے۔ ماڈل کے ویٹس شامل نہیں۔
swift testunzip badbob-playground-swift.zip
cd badbob-playground-swift
swift testماڈل لوڈ کریں اور Vision درخواست بنائیں۔ کیمرا شروع کرنے سے پہلے اِن پٹ جانچیں اور عارضی کمپائلیشن کو پورے استدلال کے دوران برقرار رکھیں۔
VisionDetector.init(modelURL:)VisionDetector.predict(_:)اس مثال کے لیے ایسا Core ML آبجیکٹ ڈیٹیکٹر درکار ہے جو Vision آبجیکٹ آبزرویشن واپس کرے۔ ماڈل کی دوسری اقسام اور ONNX فائلوں کے لیے الگ اڈاپٹر درکار ہے۔
Vision نچلے بائیں کونے سے نارملائزڈ کوآرڈینیٹس دیتا ہے۔ انہیں ویو کے کوآرڈینیٹس میں بدلیں، تصویر کا تناسب برقرار رکھیں اور تصویر و باکس ایک ساتھ عکس کریں۔
model:
runtime: Core ML + Vision
formats: [.mlmodel, .mlpackage, .mlmodelc]
image_inputs: 1
results: VNRecognizedObjectObservation
preprocessing:
crop_and_scale: scaleFill
orientation: up
coordinates:
range: [0, 1]
origin: bottom_left
preview:
scaling: aspect_fit
mirroring: pairedimport CoreML
import Foundation
import Vision
/// Owned by one frame processor and used only on its serial capture queue.
final class VisionDetector {
private let request: VNCoreMLRequest
private let compiledURL: URL?
private let scopedURL: URL?
init(modelURL: URL) throws {
guard modelURL.isFileURL,
["mlmodel", "mlpackage", "mlmodelc"].contains(modelURL.pathExtension.lowercased())
else {
throw CaptureFailure.unsupportedModel
}
let scoped = modelURL.startAccessingSecurityScopedResource()
var ownedCompilation: URL?
do {
let loadURL: URL
if modelURL.pathExtension.lowercased() == "mlmodelc" {
loadURL = modelURL
} else {
loadURL = try MLModel.compileModel(at: modelURL)
ownedCompilation = loadURL
}
let model = try MLModel(contentsOf: loadURL)
guard
model.modelDescription.inputDescriptionsByName.values.filter({ $0.type == .image })
.count == 1
else {
throw CaptureFailure.unsupportedModel
}
request = VNCoreMLRequest(model: try VNCoreMLModel(for: model))
request.imageCropAndScaleOption = .scaleFill
compiledURL = ownedCompilation
scopedURL = scoped ? modelURL : nil
} catch {
if scoped {
modelURL.stopAccessingSecurityScopedResource()
}
if let ownedCompilation {
try? FileManager.default.removeItem(at: ownedCompilation)
}
throw error
}
}
deinit {
// Predictions have ended; remove only our own temporary compilation.
if let compiledURL {
try? FileManager.default.removeItem(at: compiledURL)
}
scopedURL?.stopAccessingSecurityScopedResource()
}
func predict(_ buffer: CVPixelBuffer) throws -> [Detection] {
try VNImageRequestHandler(cvPixelBuffer: buffer, orientation: .up).perform([request])
guard let objects = request.results as? [VNRecognizedObjectObservation] else {
throw CaptureFailure.unsupportedModel
}
return objects.enumerated().compactMap { index, observation in
guard let label = observation.labels.first, label.confidence.isFinite else {
return nil
}
return Detection(
id: index, label: label.identifier, confidence: label.confidence,
bounds: observation.boundingBox)
}
}
}کیپچر اپنے سیریل ایگزیکیوٹر پر چلتا ہے۔ تاخیر سے آنے والے فریم چھوڑ دیے جاتے ہیں اور صرف تازہ ترین پراسیس شدہ فریم انٹرفیس کا انتظار کرتا ہے۔ تصویر اور پیش گوئیاں ساتھ رہتی ہیں۔
CameraService.start(runID:modelURL:)CameraService.stop(runID:)import AVFoundation
import CoreImage
import Dispatch
import Foundation
/// A custom executor keeps blocking AVFoundation work off the main actor.
public actor CameraService: CameraCapturing {
private nonisolated let queue = DispatchSerialQueue(label: "ai.badbob.playground.camera")
public nonisolated var unownedExecutor: UnownedSerialExecutor {
queue.asUnownedSerialExecutor()
}
private var session: AVCaptureSession?
private var output: AVCaptureVideoDataOutput?
private var processor: FrameProcessor?
private var monitor: CaptureSessionMonitor?
private var activeRunID: UUID?
public init() {}
public func start(runID: UUID, modelURL: URL) async throws -> FrameStream {
stopActiveRun()
let detector = try loadDetector(modelURL: modelURL)
try Task.checkCancellation()
guard let camera = AVCaptureDevice.default(for: .video) else {
throw CaptureFailure.noCamera
}
let candidate = AVCaptureSession()
let frames = AVCaptureVideoDataOutput()
let (stream, continuation) = FrameStream.makeStream(bufferingPolicy: .bufferingNewest(1))
let delegate = FrameProcessor(detector: detector, continuation: continuation)
try configureSession(candidate, output: frames, processor: delegate, camera: camera)
try Task.checkCancellation()
session = candidate
output = frames
processor = delegate
activeRunID = runID
monitor = CaptureSessionMonitor(session: candidate, continuation: continuation)
continuation.onTermination = { [weak self] _ in
Task { await self?.stop(runID: runID) }
}
candidate.startRunning()
guard candidate.isRunning else {
stopActiveRun()
throw CaptureFailure.configuration
}
return stream
}
private func loadDetector(modelURL: URL) throws -> VisionDetector {
do {
return try VisionDetector(modelURL: modelURL)
} catch let error as CaptureFailure {
throw error
} catch {
throw CaptureFailure.model(error.localizedDescription)
}
}
private func configureSession(
_ candidate: AVCaptureSession,
output frames: AVCaptureVideoDataOutput,
processor delegate: FrameProcessor,
camera: AVCaptureDevice
) throws {
candidate.beginConfiguration()
do {
let input = try AVCaptureDeviceInput(device: camera)
guard candidate.canAddInput(input), candidate.canAddOutput(frames) else {
throw CaptureFailure.configuration
}
candidate.addInput(input)
candidate.addOutput(frames)
if candidate.canSetSessionPreset(.hd1280x720) {
candidate.sessionPreset = .hd1280x720
}
frames.alwaysDiscardsLateVideoFrames = true
frames.videoSettings = [
kCVPixelBufferPixelFormatTypeKey as String: kCVPixelFormatType_32BGRA
]
// The delegate, Vision request and frame renderer share this one serial queue.
frames.setSampleBufferDelegate(delegate, queue: queue)
if let connection = frames.connection(with: .video),
connection.isVideoMirroringSupported
{
connection.automaticallyAdjustsVideoMirroring = false
connection.isVideoMirrored = false
}
candidate.commitConfiguration()
} catch {
candidate.commitConfiguration()
frames.setSampleBufferDelegate(nil, queue: nil)
delegate.finish()
throw error
}
}
public func stop(runID: UUID) {
// A cancelled old task must not stop a more recent capture run.
guard activeRunID == runID else {
return
}
stopActiveRun()
}
private func stopActiveRun() {
// Remove observers first so our deliberate stop cannot become a failure.
monitor?.invalidate()
monitor = nil
session?.stopRunning()
output?.setSampleBufferDelegate(nil, queue: nil)
processor?.finish()
processor = nil
output = nil
session = nil
activeRunID = nil
}
}
/// AVFoundation invokes this delegate only on CameraService's serial queue.
/// No sample buffer or mutable Vision object crosses into a Task or the UI.
private final class FrameProcessor: NSObject, AVCaptureVideoDataOutputSampleBufferDelegate {
private let detector: VisionDetector
private let continuation: FrameStream.Continuation
private let renderer = CIContext(options: [.cacheIntermediates: false])
private var finished = false
init(detector: VisionDetector, continuation: FrameStream.Continuation) {
self.detector = detector
self.continuation = continuation
}
func finish() {
guard !finished else {
return
}
finished = true
continuation.finish()
}
func captureOutput(
_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer,
from connection: AVCaptureConnection
) {
guard !finished, let buffer = CMSampleBufferGetImageBuffer(sampleBuffer) else {
return
}
autoreleasepool {
do {
let detections = try detector.predict(buffer)
let image = CIImage(cvPixelBuffer: buffer)
guard let pixels = renderer.createCGImage(image, from: image.extent) else {
throw CaptureFailure.imageCreation
}
continuation.yield(DetectionFrame(image: pixels, detections: detections))
} catch {
finished = true
continuation.finish(throwing: error)
}
}
}
}Vision نچلے بائیں کونے سے نارملائزڈ کوآرڈینیٹس دیتا ہے۔ انہیں ویو کے کوآرڈینیٹس میں بدلیں، تصویر کا تناسب برقرار رکھیں اور تصویر و باکس ایک ساتھ عکس کریں۔
OverlayGeometry.project(...)تصویر کے سائز، کراپ، سمت اور کوآرڈینیٹس کو ایک مشترک اصول سمجھیں۔ نشانات پر اعتماد سے پہلے معلوم باکسز سے جانچیں۔
import CoreGraphics
/// Convert Vision's normalized, bottom-left coordinates to an aspect-fit view.
public enum OverlayGeometry {
public static func project(
_ bounds: CGRect, imageSize: CGSize, viewport: CGSize, mirrored: Bool
) -> CGRect? {
guard
[imageSize.width, imageSize.height, viewport.width, viewport.height].allSatisfy({
$0.isFinite && $0 > 0
}),
[bounds.origin.x, bounds.origin.y, bounds.width, bounds.height].allSatisfy(\.isFinite),
bounds.width > 0, bounds.height > 0
else { return nil }
let clipped = bounds.intersection(CGRect(x: 0, y: 0, width: 1, height: 1))
guard !clipped.isNull, !clipped.isEmpty else {
return nil
}
let scale = min(viewport.width / imageSize.width, viewport.height / imageSize.height)
let width = imageSize.width * scale
let height = imageSize.height * scale
return CGRect(
x: (viewport.width - width) / 2 + (mirrored ? 1 - clipped.maxX : clipped.minX) * width,
y: (viewport.height - height) / 2 + (1 - clipped.maxY) * height,
width: clipped.width * width, height: clipped.height * height
)
}
}مقامی ایپ بنائیں، ڈیٹیکٹر چنیں اور Start camera دبائیں۔ اعتماد کی حد اور عکس کی ترتیب بدلیں۔ کام مکمل ہو تو کیپچر روک دیں۔
CameraController.start()CameraController.stop()./build-app.sh
open ".build/BadBob Playground.app"02.06 / بہترین طریقے